Windows下DataX的安装配置

datax下载地址:

DataX下载地址icon-default.png?t=N7T8https://github.com/alibaba/DataX/blob/master/userGuid.md

准备环境:

1.JDK(1.8以上,推荐1.8)

2.Python(2或3都可以)

3.Apache Maven 3.x (Compile DataX) 非编译安装不需要

解压安装包,记住解压的路径地址,(我的是在E:\datax),进入E:\datax\bin目录,记事本打开datax.py文件,修改"DATA_HOME=..."这里的路径为datax根目录 E:\datax。

然后找到E:\datax\conf目录下的 ".json" 文件,我这里是core.json,记事本打开,修改里面的内容为:

{
  "job": {
    "content": [
      {
        "reader": {
          "name": "streamreader",
          "parameter": {
            "sliceRecordCount": 2,
            "column": [
              {
                "type": "long",
                "value": "10"
              },
              {
                "type": "string",
                "value": "hello,你好,世界-DataX"
              }
            ]
          }
        },
        "writer": {
          "name": "streamwriter",
          "parameter": {
            "encoding": "UTF-8",
            "print": true
          }
        }
      }
    ],
    "setting": {
      "speed": {
        "channel": 5
      }
    }
  },
  "entry": {
    "jvm": "-Xms1G -Xmx1G",
    "environment": {}
  },
  "common": {
    "column": {
      "datetimeFormat": "yyyy-MM-dd HH:mm:ss",
      "timeFormat": "HH:mm:ss",
      "dateFormat": "yyyy-MM-dd",
      "extraFormats": ["yyyyMMdd"],
      "timeZone": "GMT+8",
      "encoding": "utf-8"
    }
  },
  "core": {
    "dataXServer": {
      "address": "http://localhost:7001/api",
      "timeout": 10000,
      "reportDataxLog": false,
      "reportPerfLog": false
    },
    "transport": {
      "channel": {
        "class": "com.alibaba.datax.core.transport.channel.memory.MemoryChannel",
        "speed": {
          "byte": -1,
          "record": -1
        },
        "flowControlInterval": 20,
        "capacity": 512,
        "byteCapacity": 67108864
      },
      "exchanger": {
        "class": "com.alibaba.datax.core.plugin.BufferedRecordExchanger",
        "bufferSize": 32
      }
    },
    "container": {
      "job": {
        "reportInterval": 10000
      },
      "taskGroup": {
        "channel": 5
      },
      "trace": {
        "enable": "false"
      }
    },
    "statistics": {
      "collector": {
        "plugin": {
          "taskClass": "com.alibaba.datax.core.statistics.plugin.task.StdoutPluginCollector",
          "maxDirtyNumber": 10
        }
      }
    }
  }
}

打开cmd,输进入bin目录下:

cd E:\datax\bin

然后输入自检脚本:

python datax.py "E:\datax\conf\core.json"

若输出结果为:

则配置成功!!!!!!

  • 3
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值