![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
ETL
ASN_forever
这个作者很懒,什么都没留下…
展开
-
datax同步mysql数据到hive时,时间类型字段少8小时问题
现象在使用datax同步mysql数据到hive的时候,发现有些时间字段同步之后时间少了8小时。下面分析一下具体情况。背景知识首先,明确一下hive支持的时间类型和datax支持的时间类型有哪些。先看一下datax支持的数据类型:这是datax GitHub上的文档,可以看到datax支持的时间类型只有date和timestamp。接下来看一下hive3.x支持的数据类型:可以看到,hive也支持date和timestamp两种时间类型。但是datax和hive.原创 2020-07-09 10:13:41 · 4118 阅读 · 2 评论 -
datax同步mysql数据到hive
datax hdfswriter文档https://github.com/alibaba/DataX/blob/master/hdfswriter/doc/hdfswriter.md需要注意的是,hdfswriter写入时的字段分隔符,需要用户保证与创建的Hive表的字段分隔符一致,否则无法在Hive表中查到数据。另外,虽然hive3支持decimal格式,但是datax还不支持。。。因此datax作业中应该用string代替decimal。建表语句create external t.原创 2020-07-07 10:11:40 · 2280 阅读 · 0 评论 -
datax从mysql同步数据到elasticsearch(使用es的动态模板)
elasticsearch中设置动态模板PUT _template/hkey_transferbill{ "index_patterns": "hkey_transferbill", "settings": { "number_of_shards": 2, "number_of_replicas": 1 }, "mappings": { "data":{ "dynamic_templates" : [ { "keyword.原创 2020-05-25 20:07:00 · 2910 阅读 · 3 评论 -
datax动态传参指定SQL语句
需求:动态的修改sql语句来读mysql,动态的修改hbase表名来指定写入的hbase表。脚本:{ "job": { "setting": { "speed": { "byte": 8388608, "channel": 3 }, "errorLimit": { "record": 0, "percentage": 0原创 2020-05-25 17:22:29 · 5721 阅读 · 3 评论 -
dataX从mysql导出数据到hbase
业务数据库中存了大量的历史数据,导致在根据业务条件查询数据的时候效率太低。因此考虑将原始的业务数据通过SQL先做一遍处理后放到中间表,然后再把中间表的数据同步到hbase,以后直接从hbase查询数据。当然这个还涉及到增量数据如何同步,如何保证增量数据不丢失等问题,不在这里记录。这里只记录mysql中的数据如何全量同步到hbase。异构数据源之间的数据迁移工具比较多,常用的有kettle、sq...原创 2020-03-17 09:02:29 · 1058 阅读 · 0 评论