win10 安装DataX

最新推荐文章于 2024-08-02 10:44:46 发布
最新推荐文章于 2024-08-02 10:44:46 发布
阅读量10w+ 收藏 14
点赞数 8
分类专栏： DataX 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014646662/article/details/82748055
版权

win10 安装DataX

1.资源准备

2.环境变量配置(以自己安装目录为准)

3.在cmd窗口中输入CHCP 65001 防止中文乱码

4.测试（从stream读取数据并打印到控制台）

对人工智能感兴趣的同学，可以点击以下链接：

现在人工智能非常火爆，很多朋友都想学，但是一般的教程都是为博硕生准备的，太难看懂了。最近发现了一个非常适合小白入门的教程，不仅通俗易懂而且还很风趣幽默。所以忍不住分享一下给大家。点这里可以跳转到教程。

https://www.cbedai.net/u014646662

1.资源准备

   JDK1.8

   Python2.7

   DataX（点击下载）

2.环境变量配置(以自己安装目录为准)

   %DATAX_HOME%\bin

   D:\Program Files\Python27\

   D:\Program Files\Java\jdk1.8.0_131\bin

3.在cmd窗口中输入CHCP 65001 防止中文乱码

4.测试（从stream读取数据并打印到控制台）

 a、查看模板

  cd    %DATAX_HOME%\bin

    python datax.py -r streamreader -w streamwriter

会显示如下内容

DataX (DATAX-OPENSOURCE-3.0), From Alibaba !
Copyright (C) 2010-2017, Alibaba Group. All Rights Reserved.


Please refer to the streamreader document:
     https://github.com/alibaba/DataX/blob/master/streamreader/doc/streamreader.md

Please refer to the streamwriter document:
     https://github.com/alibaba/DataX/blob/master/streamwriter/doc/streamwriter.md

Please save the following configuration as a json file and  use
     python {DATAX_HOME}/bin/datax.py {JSON_FILE_NAME}.json
to run the job.

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "streamreader",
                    "parameter": {
                        "column": [],
                        "sliceRecordCount": ""
                    }
                },
                "writer": {
                    "name": "streamwriter",
                    "parameter": {
                        "encoding": "",
                        "print": true
                    }
                }
            }
        ],
        "setting": {
            "speed": {
                "channel": ""
            }
        }
    }
}

 

b、书写配置文件

     文件名：stream2stream.json 

内容如下：

{
  "job": {
    "content": [
      {
        "reader": {
          "name": "streamreader",
          "parameter": {
            "sliceRecordCount": 10,
            "column": [
              {
                "type": "String",
                "value": "helle DataX"
              },
              {
                "type": "string",
                "value": "你吃完晚饭了吗？"
              },
              {
                "type": "string",
                "value": "不要在写代码了，太累了"
              }
            ]
          }
        },
        "writer": {
          "name": "streamwriter",
          "parameter": {
            "encoding": "GBK",
            "print": true
          }
        }
      }
    ],
    "setting": {
      "speed": {
        "channel": 5
       }
    }
  }
}

c.执行配置文件

python datax.py ./steam2stream.json

会出现如下结果：

  

DataX (DATAX-OPENSOURCE-3.0), From Alibaba !
Copyright (C) 2010-2017, Alibaba Group. All Rights Reserved.


2018-09-17 20:18:48.235 [main] INFO  VMInfo - VMInfo# operatingSystem class => sun.management.OperatingSystemImpl
2018-09-17 20:18:48.242 [main] INFO  Engine - the machine info  =>

        osInfo: Oracle Corporation 1.8 25.131-b11
        jvmInfo:        Windows 10 x86 10.0
        cpu num:        8

        totalPhysicalMemory:    -0.00G
        freePhysicalMemory:     -0.00G
        maxFileDescriptorCount: -1
        currentOpenFileDescriptorCount: -1

        GC Names        [PS MarkSweep, PS Scavenge]

        MEMORY_NAME                    | allocation_size                | init_size
        PS Eden Space                  | 256.25MB                       | 256.25MB
        Code Cache                     | 240.00MB                       | 2.25MB
        PS Survivor Space              | 42.50MB                        | 42.50MB
        PS Old Gen                     | 682.75MB                       | 682.75MB
        Metaspace                      | -0.00MB                        | 0.00MB


2018-09-17 20:18:48.270 [main] INFO  Engine -
{
        "content":[
                {
                        "reader":{
                                "name":"streamreader",
                                "parameter":{
                                        "column":[
                                                {
                                                        "type":"String",
                                                        "value":"helle DataX"
                                                },
                                                {
                                                        "type":"string",
                                                        "value":"你吃完晚饭了吗？"
                                                },
                                                {
                                                        "type":"string",
                                                        "value":"不要在写代码了，太累了"
                                                }
                                        ],
                                        "sliceRecordCount":10
                                }
                        },
                        "writer":{
                                "name":"streamwriter",
                                "parameter":{
                                        "encoding":"GBK",
                                        "print":true
                                }
                        }
                }
        ],
        "setting":{
                "speed":{
                        "channel":5
                }
        }
}

2018-09-17 20:18:48.289 [main] WARN  Engine - prioriy set to 0, because NumberFormatException, the value is: null
2018-09-17 20:18:48.292 [main] INFO  PerfTrace - PerfTrace traceId=job_-1, isEnable=false, priority=0
2018-09-17 20:18:48.292 [main] INFO  JobContainer - DataX jobContainer starts job.
2018-09-17 20:18:48.295 [main] INFO  JobContainer - Set jobId = 0
2018-09-17 20:18:48.325 [job-0] INFO  JobContainer - jobContainer starts to do prepare ...
2018-09-17 20:18:48.326 [job-0] INFO  JobContainer - DataX Reader.Job [streamreader] do prepare work .
2018-09-17 20:18:48.335 [job-0] INFO  JobContainer - DataX Writer.Job [streamwriter] do prepare work .
2018-09-17 20:18:48.336 [job-0] INFO  JobContainer - jobContainer starts to do split ...
2018-09-17 20:18:48.338 [job-0] INFO  JobContainer - Job set Channel-Number to 5 channels.
2018-09-17 20:18:48.348 [job-0] INFO  JobContainer - DataX Reader.Job [streamreader] splits to [5] tasks.
2018-09-17 20:18:48.349 [job-0] INFO  JobContainer - DataX Writer.Job [streamwriter] splits to [5] tasks.
2018-09-17 20:18:48.371 [job-0] INFO  JobContainer - jobContainer starts to do schedule ...
2018-09-17 20:18:48.380 [job-0] INFO  JobContainer - Scheduler starts [1] taskGroups.
2018-09-17 20:18:48.382 [job-0] INFO  JobContainer - Running by standalone Mode.
2018-09-17 20:18:48.391 [taskGroup-0] INFO  TaskGroupContainer - taskGroupId=[0] start [5] channels for [5] tasks.
2018-09-17 20:18:48.397 [taskGroup-0] INFO  Channel - Channel set byte_speed_limit to -1, No bps activated.
2018-09-17 20:18:48.401 [taskGroup-0] INFO  Channel - Channel set record_speed_limit to -1, No tps activated.
2018-09-17 20:18:48.412 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] taskId[1] attemptCount[1] is started
2018-09-17 20:18:48.415 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] taskId[0] attemptCount[1] is started
helle DataX     你吃完晚饭了吗？        不要在写代码了，太累了
helle DataX     你吃完晚饭了吗？        不要在写代码了，太累了
helle DataX     你吃完晚饭了吗？        不要在写代码了，太累了
helle DataX     你吃完晚饭了吗？        不要在写代码了，太累了
helle DataX     你吃完晚饭了吗？        不要在写代码了，太累了
helle DataX     你吃完晚饭了吗？        不要在写代码了，太累了
helle DataX     你吃完晚饭了吗？        不要在写代码了，太累了
helle DataX     你吃完晚饭了吗？        不要在写代码了，太累了
helle DataX     你吃完晚饭了吗？        不要在写代码了，太累了
helle DataX     你吃完晚饭了吗？        不要在写代码了，太累了
helle DataX     你吃完晚饭了吗？        不要在写代码了，太累了
helle DataX     你吃完晚饭了吗？        不要在写代码了，太累了
helle DataX     你吃完晚饭了吗？        不要在写代码了，太累了
helle DataX     你吃完晚饭了吗？        不要在写代码了，太累了
helle DataX     你吃完晚饭了吗？        不要在写代码了，太累了
helle DataX     你吃完晚饭了吗？        不要在写代码了，太累了
helle DataX     你吃完晚饭了吗？        不要在写代码了，太累了
helle DataX     你吃完晚饭了吗？        不要在写代码了，太累了
helle DataX     你吃完晚饭了吗？        不要在写代码了，太累了
helle DataX     你吃完晚饭了吗？        不要在写代码了，太累了
2018-09-17 20:18:48.421 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] taskId[3] attemptCount[1] is started
helle DataX     你吃完晚饭了吗？        不要在写代码了，太累了
helle DataX     你吃完晚饭了吗？        不要在写代码了，太累了
helle DataX     你吃完晚饭了吗？        不要在写代码了，太累了
helle DataX     你吃完晚饭了吗？        不要在写代码了，太累了
helle DataX     你吃完晚饭了吗？        不要在写代码了，太累了
helle DataX     你吃完晚饭了吗？        不要在写代码了，太累了
helle DataX     你吃完晚饭了吗？        不要在写代码了，太累了
helle DataX     你吃完晚饭了吗？        不要在写代码了，太累了
helle DataX     你吃完晚饭了吗？        不要在写代码了，太累了
helle DataX     你吃完晚饭了吗？        不要在写代码了，太累了
2018-09-17 20:18:48.433 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] taskId[2] attemptCount[1] is started
helle DataX     你吃完晚饭了吗？        不要在写代码了，太累了
helle DataX     你吃完晚饭了吗？        不要在写代码了，太累了
helle DataX     你吃完晚饭了吗？        不要在写代码了，太累了
helle DataX     你吃完晚饭了吗？        不要在写代码了，太累了
helle DataX     你吃完晚饭了吗？        不要在写代码了，太累了
helle DataX     你吃完晚饭了吗？        不要在写代码了，太累了
helle DataX     你吃完晚饭了吗？        不要在写代码了，太累了
helle DataX     你吃完晚饭了吗？        不要在写代码了，太累了
helle DataX     你吃完晚饭了吗？        不要在写代码了，太累了
helle DataX     你吃完晚饭了吗？        不要在写代码了，太累了
2018-09-17 20:18:48.440 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] taskId[4] attemptCount[1] is started
helle DataX     你吃完晚饭了吗？        不要在写代码了，太累了
helle DataX     你吃完晚饭了吗？        不要在写代码了，太累了
helle DataX     你吃完晚饭了吗？        不要在写代码了，太累了
helle DataX     你吃完晚饭了吗？        不要在写代码了，太累了
helle DataX     你吃完晚饭了吗？        不要在写代码了，太累了
helle DataX     你吃完晚饭了吗？        不要在写代码了，太累了
helle DataX     你吃完晚饭了吗？        不要在写代码了，太累了
helle DataX     你吃完晚饭了吗？        不要在写代码了，太累了
helle DataX     你吃完晚饭了吗？        不要在写代码了，太累了
helle DataX     你吃完晚饭了吗？        不要在写代码了，太累了
2018-09-17 20:18:48.548 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] taskId[0] is successed, used[133]ms
2018-09-17 20:18:48.548 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] taskId[1] is successed, used[137]ms
2018-09-17 20:18:48.550 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] taskId[2] is successed, used[117]ms
2018-09-17 20:18:48.557 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] taskId[3] is successed, used[136]ms
2018-09-17 20:18:48.559 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] taskId[4] is successed, used[119]ms
2018-09-17 20:18:48.576 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] completed it's tasks.
2018-09-17 20:18:58.400 [job-0] INFO  StandAloneJobContainerCommunicator - Total 50 records, 1500 bytes | Speed 150B/s, 5 records/s | Error 0 records, 0 bytes |  All Task WaitWriterTime 0.000s |  All Task WaitReaderTime 0.001s | Percentage 100.00%
2018-09-17 20:18:58.401 [job-0] INFO  AbstractScheduler - Scheduler accomplished all tasks.
2018-09-17 20:18:58.403 [job-0] INFO  JobContainer - DataX Writer.Job [streamwriter] do post work.
2018-09-17 20:18:58.410 [job-0] INFO  JobContainer - DataX Reader.Job [streamreader] do post work.
2018-09-17 20:18:58.412 [job-0] INFO  JobContainer - DataX jobId [0] completed successfully.
2018-09-17 20:18:58.414 [job-0] INFO  HookInvoker - No hook invoked, because base dir not exists or is a file: D:\datax\hook
2018-09-17 20:18:58.422 [job-0] INFO  JobContainer -
         [total cpu info] =>
                averageCpu                     | maxDeltaCpu                    | minDeltaCpu
                -1.00%                         | -1.00%                         | -1.00%


         [total gc info] =>
                 NAME                 | totalGCCount       | maxDeltaGCCount    | minDeltaGCCount    | totalGCTime        | maxDeltaGCTime     | minDeltaGCTime
                 PS MarkSweep         | 0                  | 0                  | 0                  | 0.000s             | 0.000s             | 0.000s
                 PS Scavenge          | 0                  | 0                  | 0                  | 0.000s             | 0.000s             | 0.000s

2018-09-17 20:18:58.431 [job-0] INFO  JobContainer - PerfTrace not enable!
2018-09-17 20:18:58.436 [job-0] INFO  StandAloneJobContainerCommunicator - Total 50 records, 1500 bytes | Speed 150B/s, 5 records/s | Error 0 records, 0 bytes |  All Task WaitWriterTime 0.000s |  All Task WaitReaderTime 0.001s | Percentage 100.00%
2018-09-17 20:18:58.445 [job-0] INFO  JobContainer -
任务启动时刻                    : 2018-09-17 20:18:48
任务结束时刻                    : 2018-09-17 20:18:58
任务总计耗时                    :                 10s
任务平均流量                    :              150B/s
记录写入速度                    :              5rec/s
读出记录总数                    :                  50
读写失败总数                    :                   0

 

周天祥
关注
专栏目录
windows下的DataX的安装和使用教程
m0_46517444的博客
07-14 6236
1.前提条件是：第一步应该在本地安装好 jdk 、 maven 、 python的基础环境。 （注意：这里使用的python最好使用python 2.X。因为使用python 3.X会出现一个问题。这里不做说明） 2.在DataX的官网上下载压缩包，然后解压到自定义的文件夹里面。 3. win +R 输入cmd命令。进入命令行模式。 然后进入安装的DataX的bin目录下。输入python datax.py …/job/job.json命令。 4.如果出现乱码，在命令行输入 CHCP 65001 ，并
windows安装并简单使用datax
weixin_44411398的博客
05-11 3039
windows安装并简单使用datax 文章目录windows安装并简单使用datax一、datax概述二、DataX框架设计三、DataX安装环境准备：1.JDK1.82.Python2.73.安装datax四、job.json文件 一、datax概述 DataX 是阿里开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 二、DataX框架设计 DataX本身作为离线数据同
datax 数据库同步工具 window 下bat 启动命令
11-12
数据库同步工具datax 在window下启动的bat 处理工具，启动将文件放在datax 工具中的bin目录下 启动命令 ./start.bat /job/json文件名称.json json文件在datax目录下
Windows10安装DataX
时刻学习
07-30 434
datax下载地址：http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz
DataX介绍
最新发布
damokelisijian866的博客
08-02 787
1. 定义与背景DataX是阿里巴巴集团内部广泛使用的离线数据同步工具/平台，后被开源出来供外部用户使用。它基于Java语言编写，通过插件化的方式支持多种数据源之间的数据同步和迁移。DataX的设计理念是“简单、可靠、高效”，旨在解决大数据领域复杂的数据同步问题。2. 主要特点高效稳定：DataX采用分布式架构，支持多线程并行处理数据，能够快速、稳定地完成大规模数据迁移。易用性强：DataX的配置和使用都非常简单，配置文件和命令行参数都非常易懂，即使是初学者也能够快速上手。功能丰富。
Datax在win10中的安装
西楼的博客
07-07 2283
JDK(1.8以上，推荐1.8) Python(推荐Python2.7.X) Python(Python3.X.X的可以下载文末的安装包替换) Apache Maven 3.x (Compile DataX)Python环境安装这里就不作说明，请自行下载安装。下载地址:http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz或者进入https://github.com/alibaba/DataX/blob/master/userGui
windows上datax的使用记录
AnalogElectronic的博客
12-22 1602
datax使记录简介DataX 是阿里云 DataWorks数据集成 的开源版本，在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS 等各种异构数据源之间高效的数据同步功能。1、下载datax2、下载python2.7安装之后设置环境变量。
datax安装部署使用 windows
bswsf的专栏
06-16 3189
通过querysql方式"job": {"speed": {},],},
DataX_python3补丁，DataX安装（Windows版）
02-17
在这个“DataX_python3补丁，DataX安装（Windows版）”的主题中，我们主要关注的是如何在Python 3环境下，特别是在Python 3.7.0版本上安装和使用DataX。下面我们将详细探讨这个过程中的关键知识点： 1. **Python ...
本地安装Datax可视化页面
dimtem的博客
01-18 1133
本地运行安装Datax
Datax在windows下中文乱码问题修复
xiaofan空欢喜的博客
05-11 864
中文乱码的原因是因为 windows默认的编码格式为gbk（963）编码，而在程序开发中我们统一的编码是 UTF-8编码，所以我们需要将windows的编码格式修改为UTF-8。2.按顺序找到HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Command Processor。打开终端输入chcp 65001 就会将当前终端编码格式修改为UTF-8，可临时解决中文乱码问题。4.数值名称填为 autorun 数值数据填为 chcp 65001 保存则搞定~~~
使用xdata出现乱码 如何解决
09-01
如若使用xdata该如何修改程序，使用data的话往往会出现存储量不足的情况，想借助此程序学习xdata的使用
datax(3): win环境cmd乱码
热门推荐
water Wang
12-11 6万+
通过前面两篇文章，大家应该已经可以安装成功datax，但是在win的cmd下竟然中文乱码。解决它！！！ 一，环境 win10 datax 3.x cmd py3.x 二，现象 运行 python \xxx\datax.py \xxx\job.json后控制台乱码 三，解决 1，临时解决 命令：chcp （更改该控制台的活动控制台代码页） 过程：cmd 下输入 chcp 65001 改变 当前代码页变为 utf-8编码 常用的编码及对应的码值(10进制)： 十进制码值 对应编码名称 950 .
datax源码解析-datax的hook机制解析
lucasma的博客
12-15 1753
datax提供了一种`Hook`机制，可以在执行完核心逻辑后触发一个开发者自己定义的逻辑。实现的原理是利用了java SPI机制，datax定义了一个`Hook`接口，开发者实现这个接口。通过interface寻找implement的方法
datax 导入数据中文乱码_DataX简单使用
weixin_39880615的博客
02-06 922
背景最近在重构权限管理系统(PMS)，因此在验证新开发功能的行为是否和旧功能相同时，采用了一种思路，控制相同的输入，比对输出是否尽可能一致。因为重构选用了微服务的架构，对于数据库这边拆分成了多个库。因此开发时需要将原先的PMS库的数据迁移到异构的多个数据库中。迁移方案迁移的基本思路是写转换sql语句，查出数据并导入目标库的目标表思路1查出的数据导出到Excel，然后通过Excel导入到目的库。这种...
Datax使用小结
BAStriver的博客
03-29 1820
1.首先，先来了解下Datax是做什么的吧：https://github.com/alibaba/DataX/blob/master/introduction.md 2.Datax下载链接(Windows也可以使用)：http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz 3.正如教程讲的，使用Datax之前要先安装J...
ETL工具--DataX3.0实战
weixin_30613433的博客
05-11 562
DataX是一个在异构的数据库/文件系统之间高速交换数据的工具，实现了在任意的数据处理系统(RDBMS/Hdfs/Local filesystem）之间的数据交换，由淘宝数据平台部门完成。 DataX插件分为Reader和Writer两类。Reader负责从数据源端读取数据到Storage（交换空间），Writer负责将Storage中的数据写入到数据目的端。Storage可以适配不同种类...
Datax 的基本操作
wudonglianga的专栏
10-30 1715
1. Datax 简介： DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、 Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 开源地址： https://github.com/alibaba/DataX 1.1 测试datax 执行环境： 执行命令 [root@bigdata001 bin]# python datax.py /opt/module/datax/job/job.json Time 0.024s
datax安装使用及使用过程中遇到的问题
世樹のブログ
12-30 1万+
DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 相关概念和设计理念不再赘述，这里记录个人初次使用时的过程。 datax环境要求: Linux JDK(1.8以上，推荐1.8) Python(推荐Python2.6.X) Apache Mave...
linux安装DATAX
09-10
为了在Linux上安装DATAX，可以按照以下步骤进行操作： 1. 首先，下载＊＊＊-hangzhou.aliyuncs.com/datax.tar.gz`来下载安装包。这个命令会将安装包下载到当前目录下。 2. 下载完成后，需要解压安装包。可以使用...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值