datax 持续数据同步_dataX大数据同步

安装

直接解压就行

dataX需要python2.x

我之前已经安装了anaconda3，自带的是python3.7的版本，这边就需要切换

conda create --name python27 python=2.7

创建一个名为python27的环境，指定python版本为python2.7，它会自动下载

安装完后，通过  conda info -e  命令，可以看到当前所有安装的Python环境

之后就可以通过  conda activate python27  切换了

返回之前的环境  conda deactivate

dataX解压后就可以在cmd中测试

这里的   G:\datax\datax\datax  是我datax的安装路径

输出

乱码输入

CHCP 65001

数据同步

修改job.json(位于安装目录下job/job.json，或者修改 python bin/datax.py job/job.json 的后一个路径为json路径)

1 {2 "job": {3 "content": [4 {5 "reader": {6 "name": "txtfilereader",7 "parameter": {8 "path": ["C:/Users/syyzl/Desktop/words.csv"],9 "encoding":"utf-8",10 "column": [11 {12 "index": 0,13 "type": "string"

14 },15 {16 "index": 1,17 "type": "string"

18 },19 {20 "index": 2,21 "type": "string"

22 },23 {24 "index": 3,25 "type": "string"

26 }27 ],28 "fieldDelimiter": ","

29 }30 },31 "writer": {32 "name": "mysqlwriter",33 "parameter": {34 "column": [35 "Id",36 "word",37 "jieshi",38 "link"

39 ],40 "connection": [41 {42 "jdbcUrl": "jdbc:mysql://localhost:3306/hotword?useUnicode=true&characterEncoding=utf8",43 "table": ["info"]44 }45 ],46 "password": "963214785",47 "username": "root",48 "preSql":[""],49 "session":["set session sql_mode='ANSI'"],50 "writeMode":"insert"

51 }52 }53 }54 ],55 "setting": {56 "speed": {57 "channel": "2"

58 }59 }60 }61 }

查看数据库，可以看到同步成功

出现的问题

获取表字段相关信息失败

去网上查的教程是column的内容不对

原来是我的字段里有一个字段名为explain，把这个改成别的就好了

脏数据

把此处的int改成string即可

参考