用datax同步sqlserver里的数据到elasticsearch

1.如果在github下载datax,里面没有elasticsearchwriter这个插件。所以首先git clone https://github.com/alibaba/DataX.git

2.由于下的检出的是源码,有些模块没有开发完,所以直接编译肯定会出错,要打开pom.xml把除了sqlserver和elasticsearch其他的module全部删除,然后执行命令mvn -u clean package assembly -Dmaven.test.skip=true,这样就行了,解压target里面的datax压缩文件到随便某个目录。

3.按照datax的quick start进行其他的操作 安装python 根据你的需求写json文件等

4.运行

这里可能会碰到一些问题:

任何网络问题 则取elasticsearch.yml 设置 network.host: 0.0.0.0 开启广播,远程同步 和 http.compression: true开启压缩,类似认证之类的问题,则在json文件里加上assessId:"xxx"和assessKey:"xxx"

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值