DataX
文章平均质量分 84
原来是大华啊~
菜就多练,投不进就多投。
展开
-
DataX配置案例@Source:MySQL,Sink:HDFS [SQLMode] 及空值如何存储
HFDS Writer并未提供nullFormat参数:也就是用户并不能自定义null值写到HFDS文件中的存储格式。所以后期将DataX同步的文件导入Hive表就会出现问题。#text支持gzip,orc支持snappy。Writer会将null值存储为空字符串(),而Hive默认的null值存储格式为\。# 支持orc和text。原创 2024-04-14 17:49:46 · 582 阅读 · 0 评论 -
DataX配置案例@Source:MySQL,Sink:HDFS [TableMode]
JSON格式化插件地址:extension://feolnkbgcbjmamimpfcnklggdcbgakhe/json-format/index.html。案例:将Mysql的base_province这张表全量导入到hdfs上。标红的地方是需要着重注意的地方。原创 2024-04-14 17:27:38 · 587 阅读 · 1 评论