Datax使用
HusbandWang
很懒,什么都不想写
展开
-
mysql+hive数据导入,Datax配置及脚本
1、在hive中建表create table test0604(CD_ID INT,COMMEN STRING,COLUMN_NAME string,TYPE_NAME string,INTEGER_IDX int)PARTITIONED BY(date string)ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'STORED AS ORC;...原创 2018-06-04 20:33:50 · 5283 阅读 · 0 评论 -
mongoDB+hive/hbase数据导入,Datax配置及脚本
一、在对mongodb数据拉取过程中,发现md中存储的是一个个的集合,字段不固定,多的几十条,少的几条,这样再json配置时,会导致数据的匹配不对,有脏读,乱读等现象,下面把解决办法贴下,不到之处请谅解。 首先对于字段相对固定的,我采取的是mongodb->datax->hive的途径json配置:{ "job": { "setting": { "speed": { ...原创 2018-06-25 11:24:30 · 5205 阅读 · 3 评论