DataX
CoderLean
这个作者很懒,什么都没留下…
展开
-
DataX的过滤器可行性实践
1. 需求说明 生产环境中有些数据需要在抽取的时候指定对某个字段进行过滤,判断等等。以将本地文件抽取到HDFS为例,当前我们需要导入的数据有2条,如下: 上面的数据中有uname字段,我们希望增加一个新的字段sex,该字段的值判断如果uname是wangwu,则sex字段的值就为female,否则为male,效果如下:实现上面的效果需要2步:编写过滤器代码。将过滤器代码写到datax.json中。2. 编写过滤器代码导入datax的依赖(这里主要是因为要写日志,另一个是打包功能原创 2020-10-15 11:26:30 · 1741 阅读 · 0 评论 -
记一次线上DataX的HA访问配置
1. 修改配置采集的配置文件添加如下,我这里用的HDFSWritter。“defaultFS”: “hdfs://KaTeX parse error: Expected '}', got 'EOF' at end of input: …ameservices": "{nameservice命名空间}”,“dfs.ha.namenodes.nameservice命名空间":"{nameservice命名空间}": "nameservice命名空间":"{namenode1的逻辑名称},namenode2原创 2020-10-14 13:53:55 · 942 阅读 · 0 评论