一、安装datax
将其解压即可。
二、测试安装是否成功
1,打开cmd界面(同时按下Windows键+R键)
2,输入CHCP 65001 防止中文乱码
3,跳转到datax的bin目录下
命令行:d:
cd D:\BigDataTools\datax\datax\bin
4,查看模板
命令行: python datax.py -r streamreader -w streamwriter
5,使用datax
首先我们需要自定义好的json文件(从网上获取的,内容如下),命名为stream2stream.json
{
"job": {
"content": [
{
"reader": {
"name": "streamreader",
"parameter": {
"sliceRecordCount": 10,
"column": [
{
"type": "String",
"value": "helle DataX"
},
{
"type": "string",
"value": "你吃完晚饭了吗?"
},
{
"type": "string",
"value": "不要在写代码了,太累了"
}
]
}
},
"writer": {
"name": "streamwriter",
"parameter": {
"encoding": "GBK",
"print": true
}
}
}
],
"setting": {
"speed": {
"channel": 5
}
}
}
}
输入命令行:python datax.py +json文件的位置;如:python datax.py ./steam2stream.json
效果:
三,备注
如果你的python环境是python3.0以上的话,请到https://github.com/HxYyWw/DatatX_python3/tree/master下载对应的三个.py文件代替datax文件夹中bin目录下的三个.py文件即可。
原文:https://www.cnblogs.com/goubb/p/12403944.html