datax的使用

datax的使用

提示：主要是测试一下使用方法

一、下载压缩包，解压就能用

地址：
http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz
源码地址和官网文档：
https://github.com/alibaba/DataX
需要python2.6.x运行环境，当时我下的3.x然后就报错什么print什么的，查了一下是因为语法不一样，配置python环境很简单，就是安装一下，然后配置个环境变量。

二、使用步骤

1.编辑job文件夹下的json文件，或者自己新建一个sjon

{
    "job": {
        "setting": {
            "speed": {
                 "channel":2
            }
        },
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "username": "base",
                        "password": "密码",
                        "connection": [
                            {
                                "querySql": [
                                    "select id,login_id,count,level from test111;"
                                ],
                                "jdbcUrl": [
                                    "jdbc:mysql://17x.1x.2x.4x:3306/ywjh_base_kf"
                                ]
                            }
                        ]
                    }
                },
                "writer": {
                    "name": "mysqlwriter", 
                    "parameter": {
                        "column": [
				"id","login_id","count","level"
			], "session": [
                        	"set session sql_mode='ANSI'"
                        ],
                        "connection": [
                            {
                                "jdbcUrl": "jdbc:mysql://127.0.0.1:3306/hh", 
                                "table": ["test111"]
                            }
                        ], 
                        "password": "root", 
                        "username": "root",
			"writeMode": "insert"
                    }

                }
            }
        ]
    }
}

这里我是测试远程的mysql数据同步到本地，官网中什么都有，具体看官网的配置。

2.执行

代码如下（示例）：到bin目录下cmd

python datax.py ../job/job.json

如果出现报错是乱码的话，输入CHCP 65001回车，直到打开新窗口出现Active code page: 65001
然后执行，我的第一次错误是我本地数据库没有密码，所以writer里面的密码我没填写，但是这里面要求填写，所以我就给数据库设置了密码，然后就解决了。

---

总结

datax是个很好用的工具，特别是抽取大量数据非常的好用。