【数据工程技术】使用DataX把odps同步到elasticsearch

下载工具地址:http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz

该工具默认没有带elasticsearchwriter插件,需要下载源码编译。
git clone https://github.com/alibaba/DataX.git

进入目录修改pom文件只留下 elasticsearchwriter 模块,然后执行
mvn -U clean package assembly:assembly -Dmaven.test.skip=true
复制target文件下的datax/plugin/writer/ 到datax工具目录下。

执行python bin/datax.py job/odps2es.json

odps2es配置参考后面提供的内容。

我自己遇到过“/datax/plugin/reader/.DS_Store/plugin.json]不存在. 请检查您的配置文件. ”的问题。
解决方法:后面排查发现下载后,通过双击压缩包解压工具会出现这个问题。重新对压缩包进行解压,执行 tar -zxvf datax.tar.gz。

这里提供了配置例子仅供参考(更多配置内容查看 https://help.aliyun.com/knowledge_list/74300.html?spm=a2c4g.11186631.6.617.214e69a4TpBReD ):

{
    "job":{
        "setting":{
            "speed":{
                "byte":10485760
            },
            "errorLimit":{
                "record":0,
                "percentage":0.02
            }
        },
        "content":[
            {
                "reader":{
                    "name":"odpsreader",
                    "parameter":{
                        "partition":[
                            "ds='20190603'"
                        ],
                        "isCompress":false,
                        "accessId":"XXXXXXXXXX",
                        "accessKey":"XXXXXXXXXX",
"odpsServer":"http://service-corp.odps.aliyun-inc.com/api",//更改为你的endpoint                   
 "endpoint":"http://service-corp.odps.aliyun-inc.com/api",
                        "project":"ais_server_data",
                        "column":[
                            "id",
                            "text"
                        ],
                        "emptyAsNull":true,
                        "table":"count_table"
                    }
                },
                "writer":{
                    "name":"elasticsearchwriter",
                    "parameter":{
                        "endpoint":"http://xxx.xxx.xxx.xxx:9999",
                        "accessId":"XXXXX",
                        "accessKey":"XXXXX",
                        "index":"count_table",
                        "type":"default",
                        "cleanup":true,
                        "settings":{
                            "index":{
                                "number_of_shards":1,
                                "number_of_replicas":0
                            }
                        },
                        "discovery":false,
                        "batchSize":1000,
                        "splitter":",",
                        "column":[
                            {
                                "name":"id",
                                "type":"long"
                            },
                            {
                                "name":"text",
                                "type":"keyword"
                            }
                        ]
                    }
                }
            }
        ]
    }
}
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

喜欢吃一口烤肉的啵啵

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值