![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
DataX
文章平均质量分 54
大数据侠客
这个作者很懒,什么都没留下…
展开
-
linux datax安装
datax-elasticsearch: datax数据同步elasticsearch的reader和writer插件,支持一对多的扁平数据转换成es的嵌套对象,也支持嵌套对象的读取和ognl表达式过滤,理论上可以无限嵌套。DataX 是阿里开源的一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。按照码云上的操作步骤就可以,把插件放到datax 相应目录下就可以了。原创 2024-03-28 17:17:32 · 351 阅读 · 0 评论 -
Datax问题记录
然后写入mongo的时候,指定字段type类型为array, itemtype: 为string 或 int。修改/data/dataX/datax/conf/core.json 时间列为GMT时区即可。2.修改datax源码,将默认使用ip:port方式连接,需要改成uri的方式。解决:json文件中配置writer数据类型时候type为bool。1.mongowriter中参数配置。注:查看源码需要添加itemtype。解决:保证源和目标时区一致即可。原创 2024-03-04 16:54:00 · 562 阅读 · 0 评论