DataX系列2- 安装DataX

最新推荐文章于 2022-07-07 23:07:04 发布
最新推荐文章于 2022-07-07 23:07:04 发布
阅读量384 收藏 1
点赞数
分类专栏： 大数据和数据仓库 # ETL 文章标签： DataX安装 DataX简单使用 DataX
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010520724/article/details/121927529
版权

一.系统要求

  1. Linux
  2. JDK(1.8以上，推荐1.8)
  3. Python(推荐Python 2.6.x)
  4. Apache Maven 3.x(编译DataX时才需要)

  此处使用二进制安装包的方式安装，所以无需使用Maven，相关软件配置信息如下:

[root@10-31-1-119 ~]# java -version
openjdk version "1.8.0_242"
OpenJDK Runtime Environment (build 1.8.0_242-b08)
OpenJDK 64-Bit Server VM (build 25.242-b08, mixed mode)
[root@10-31-1-119 ~]# 
[root@10-31-1-119 ~]# python -V
Python 2.7.5
[root@10-31-1-119 ~]# cat /etc/redhat-release 
CentOS Linux release 7.8.2003 (Core)
[root@10-31-1-119 ~]#

二.下载及安装

  此处使用下载二进制的方式来安装DataX

2.1 下载

wget http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz

image.png

2.2 安装

  DataX是绿色版的，下载下来解压即可使用。

image.png

  1. bin目录
    有datax.py这个启动脚本
    image.png

  2. conf目录
    conf是配置目录，一般将参数信息放到***.json文件里面
    image.png

  3. job目录
    存放运行的job
    image.png

  4. lib目录
    存放一些依赖的包
    image.png

  5. plugin目录
    存放异构数据源的读和写的jar包
    image.png

  6. script目录
    存放readme.md文件
    image.png

三.启动datax

3.1 创建作业的配置文件

cd $datax_home
cd bin
vi stream2stream.json

将一下内容拷贝到json文件中

{
  "job": {
    "content": [
      {
        "reader": {
          "name": "streamreader",
          "parameter": {
            "sliceRecordCount": 10,
            "column": [
              {
                "type": "long",
                "value": "10"
              },
              {
                "type": "string",
                "value": "hello，你好，世界-DataX"
              }
            ]
          }
        },
        "writer": {
          "name": "streamwriter",
          "parameter": {
            "encoding": "UTF-8",
            "print": true
          }
        }
      }
    ],
    "setting": {
      "speed": {
        "channel": 5
       }
    }
  }
}

3.2 启动datax

cd $datax_home
cd bin
python datax.py ./stream2stream.json

测试记录:

[root@10-31-1-119 bin]# python datax.py ./stream2stream.json 

DataX (DATAX-OPENSOURCE-3.0), From Alibaba !
Copyright (C) 2010-2017, Alibaba Group. All Rights Reserved.


2021-11-22 17:27:56.774 [main] INFO  VMInfo - VMInfo# operatingSystem class => sun.management.OperatingSystemImpl
2021-11-22 17:27:56.783 [main] INFO  Engine - the machine info  => 

        osInfo: Oracle Corporation 1.8 25.242-b08
        jvmInfo:        Linux amd64 3.10.0-1127.el7.x86_64
        cpu num:        8

        totalPhysicalMemory:    -0.00G
        freePhysicalMemory:     -0.00G
        maxFileDescriptorCount: -1
        currentOpenFileDescriptorCount: -1

        GC Names        [PS MarkSweep, PS Scavenge]

        MEMORY_NAME                    | allocation_size                | init_size                      
        PS Eden Space                  | 256.00MB                       | 256.00MB                       
        Code Cache                     | 240.00MB                       | 2.44MB                         
        Compressed Class Space         | 1,024.00MB                     | 0.00MB                         
        PS Survivor Space              | 42.50MB                        | 42.50MB                        
        PS Old Gen                     | 683.00MB                       | 683.00MB                       
        Metaspace                      | -0.00MB                        | 0.00MB                         


2021-11-22 17:27:56.797 [main] INFO  Engine - 
{
        "content":[
                {
                        "reader":{
                                "name":"streamreader",
                                "parameter":{
                                        "column":[
                                                {
                                                        "type":"long",
                                                        "value":"10"
                                                },
                                                {
                                                        "type":"string",
                                                        "value":"hello，你好，世界-DataX"
                                                }
                                        ],
                                        "sliceRecordCount":10
                                }
                        },
                        "writer":{
                                "name":"streamwriter",
                                "parameter":{
                                        "encoding":"UTF-8",
                                        "print":true
                                }
                        }
                }
        ],
        "setting":{
                "speed":{
                        "channel":5
                }
        }
}

2021-11-22 17:27:56.812 [main] WARN  Engine - prioriy set to 0, because NumberFormatException, the value is: null
2021-11-22 17:27:56.814 [main] INFO  PerfTrace - PerfTrace traceId=job_-1, isEnable=false, priority=0
2021-11-22 17:27:56.814 [main] INFO  JobContainer - DataX jobContainer starts job.
2021-11-22 17:27:56.815 [main] INFO  JobContainer - Set jobId = 0
2021-11-22 17:27:56.827 [job-0] INFO  JobContainer - jobContainer starts to do prepare ...
2021-11-22 17:27:56.827 [job-0] INFO  JobContainer - DataX Reader.Job [streamreader] do prepare work .
2021-11-22 17:27:56.827 [job-0] INFO  JobContainer - DataX Writer.Job [streamwriter] do prepare work .
2021-11-22 17:27:56.827 [job-0] INFO  JobContainer - jobContainer starts to do split ...
2021-11-22 17:27:56.828 [job-0] INFO  JobContainer - Job set Channel-Number to 5 channels.
2021-11-22 17:27:56.828 [job-0] INFO  JobContainer - DataX Reader.Job [streamreader] splits to [5] tasks.
2021-11-22 17:27:56.829 [job-0] INFO  JobContainer - DataX Writer.Job [streamwriter] splits to [5] tasks.
2021-11-22 17:27:56.850 [job-0] INFO  JobContainer - jobContainer starts to do schedule ...
2021-11-22 17:27:56.859 [job-0] INFO  JobContainer - Scheduler starts [1] taskGroups.
2021-11-22 17:27:56.860 [job-0] INFO  JobContainer - Running by standalone Mode.
2021-11-22 17:27:56.873 [taskGroup-0] INFO  TaskGroupContainer - taskGroupId=[0] start [5] channels for [5] tasks.
2021-11-22 17:27:56.878 [taskGroup-0] INFO  Channel - Channel set byte_speed_limit to -1, No bps activated.
2021-11-22 17:27:56.878 [taskGroup-0] INFO  Channel - Channel set record_speed_limit to -1, No tps activated.
2021-11-22 17:27:56.889 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] taskId[1] attemptCount[1] is started
2021-11-22 17:27:56.891 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] taskId[4] attemptCount[1] is started
2021-11-22 17:27:56.894 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] taskId[2] attemptCount[1] is started
2021-11-22 17:27:56.896 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] taskId[3] attemptCount[1] is started
10      hello，你好，世界-DataX
10      hello，你好，世界-DataX
10      hello，你好，世界-DataX
10      hello，你好，世界-DataX
10      hello，你好，世界-DataX
10      hello，你好，世界-DataX
10      hello，你好，世界-DataX
10      hello，你好，世界-DataX
10      hello，你好，世界-DataX
10      hello，你好，世界-DataX
10      hello，你好，世界-DataX
10      hello，你好，世界-DataX
10      hello，你好，世界-DataX
10      hello，你好，世界-DataX
10      hello，你好，世界-DataX
10      hello，你好，世界-DataX
10      hello，你好，世界-DataX
10      hello，你好，世界-DataX
10      hello，你好，世界-DataX
10      hello，你好，世界-DataX
2021-11-22 17:27:56.898 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] taskId[0] attemptCount[1] is started
10      hello，你好，世界-DataX
10      hello，你好，世界-DataX
10      hello，你好，世界-DataX
10      hello，你好，世界-DataX
10      hello，你好，世界-DataX
10      hello，你好，世界-DataX
10      hello，你好，世界-DataX
10      hello，你好，世界-DataX
10      hello，你好，世界-DataX
10      hello，你好，世界-DataX
10      hello，你好，世界-DataX
10      hello，你好，世界-DataX
10      hello，你好，世界-DataX
10      hello，你好，世界-DataX
10      hello，你好，世界-DataX
10      hello，你好，世界-DataX
10      hello，你好，世界-DataX
10      hello，你好，世界-DataX
10      hello，你好，世界-DataX
10      hello，你好，世界-DataX
10      hello，你好，世界-DataX
10      hello，你好，世界-DataX
10      hello，你好，世界-DataX
10      hello，你好，世界-DataX
10      hello，你好，世界-DataX
10      hello，你好，世界-DataX
10      hello，你好，世界-DataX
10      hello，你好，世界-DataX
10      hello，你好，世界-DataX
10      hello，你好，世界-DataX
2021-11-22 17:27:56.999 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] taskId[0] is successed, used[101]ms
2021-11-22 17:27:57.000 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] taskId[1] is successed, used[113]ms
2021-11-22 17:27:57.000 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] taskId[2] is successed, used[107]ms
2021-11-22 17:27:57.000 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] taskId[3] is successed, used[105]ms
2021-11-22 17:27:57.000 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] taskId[4] is successed, used[109]ms
2021-11-22 17:27:57.001 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] completed it's tasks.
2021-11-22 17:28:06.882 [job-0] INFO  StandAloneJobContainerCommunicator - Total 50 records, 950 bytes | Speed 95B/s, 5 records/s | Error 0 records, 0 bytes |  All Task WaitWriterTime 0.001s |  All Task WaitReaderTime 0.000s | Percentage 100.00%
2021-11-22 17:28:06.883 [job-0] INFO  AbstractScheduler - Scheduler accomplished all tasks.
2021-11-22 17:28:06.885 [job-0] INFO  JobContainer - DataX Writer.Job [streamwriter] do post work.
2021-11-22 17:28:06.886 [job-0] INFO  JobContainer - DataX Reader.Job [streamreader] do post work.
2021-11-22 17:28:06.886 [job-0] INFO  JobContainer - DataX jobId [0] completed successfully.
2021-11-22 17:28:06.888 [job-0] INFO  HookInvoker - No hook invoked, because base dir not exists or is a file: /home/software/datax/hook
2021-11-22 17:28:06.891 [job-0] INFO  JobContainer - 
         [total cpu info] => 
                averageCpu                     | maxDeltaCpu                    | minDeltaCpu                    
                -1.00%                         | -1.00%                         | -1.00%
                        

         [total gc info] => 
                 NAME                 | totalGCCount       | maxDeltaGCCount    | minDeltaGCCount    | totalGCTime        | maxDeltaGCTime     | minDeltaGCTime     
                 PS MarkSweep         | 0                  | 0                  | 0                  | 0.000s             | 0.000s             | 0.000s             
                 PS Scavenge          | 0                  | 0                  | 0                  | 0.000s             | 0.000s             | 0.000s             

2021-11-22 17:28:06.892 [job-0] INFO  JobContainer - PerfTrace not enable!
2021-11-22 17:28:06.893 [job-0] INFO  StandAloneJobContainerCommunicator - Total 50 records, 950 bytes | Speed 95B/s, 5 records/s | Error 0 records, 0 bytes |  All Task WaitWriterTime 0.001s |  All Task WaitReaderTime 0.000s | Percentage 100.00%
2021-11-22 17:28:06.893 [job-0] INFO  JobContainer - 
任务启动时刻                    : 2021-11-22 17:27:56
任务结束时刻                    : 2021-11-22 17:28:06
任务总计耗时                    :                 10s
任务平均流量                    :               95B/s
记录写入速度                    :              5rec/s
读出记录总数                    :                  50
读写失败总数                    :                   0

[root@10-31-1-119 bin]#

参考:

  1. https://github.com/alibaba/DataX/blob/master/userGuid.md
只是甲
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据DataX（二）：DataX核心架构
Lansonli（蓝深李）的博客
02-17 564
DataX 3.0 开源版本支持单机多线程模式完成同步作业运行，本文按一个DataX作业生命周期的时序图，从整体架构设计非常简要说明DataX各个模块相互关系。举例来说，用户提交了一个DataX作业，并且配置了20个并发，目的是将一个100张分表的mysql数据同步到odps里面。
Centos7.9下安装DataX3.0/2.0_详细安装过程_以及踩坑._drdsreader/plugin.json]不存在.检查您的配置文---大数据之DataX工作笔记001
添柴程序猿的专栏
06-29 339
您提供的配置文件[/opt/module/datax/plugin/reader/._drdsreader/plugin.json]不存在. 请检查您的配置文件。这样一执行可以看到再去看比如/opt/module/datax/plugin下面的reader文件夹和writer文件夹中就,都没有._开头的文件了都被删除掉了。首先我们执行 rm -rf /opt/module/datax/plugin/*/._*这个时候,我们去对应的plugin文件夹,把所有的._开头的文件都删除掉就可以了。
java开源定时任务管理,DataX Web2.0发布，集成定时任务，支持分布式
weixin_30845365的博客
03-22 953
DataX-WebDataX阿里的开源的时候并未提供任何可视化界面，我们在使用的过程中，需要将Json配置文件放到DataX的job路径下，随着业务的增加，配置文件不方便管理和迁移并且每次执行都需要记录命令。目前DataX只支持单机版，多节点之间的协作不能控制，我们希望能有一款有友好的可视化界面，支持定时任务,支持分布式的数据同步利器，这也是该项目的目标。项目地址：https://github.c...
尚硅谷大数据技术之 DataX—2）快速入门
weixin_61594803的博客
02-04 1555
2.1 官方地址 下载地址：http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz 直接解压，执行命令即可，不需要编译。 源码地址：https://github.com/alibaba/DataX 2.2 前置要求 Linux JDK(1.8以上，推荐1.8) Python(推荐Python2.6.X) 2.3 安装 1 ）将下载好的datax.tar.gz上传到hadoop 102 的/opt/software 2 ）解压da
datax Jar.zip
07-30
datax是很好的数据同步工具，但是网上大多数基于python指令来运行。本资源是基于ali的datax项目源码改编，直接打包成core和depend两个jar包。可以直接添加到java项目中,通过方法Engine.run("datax-plugin路径",".json配置文件地址")来执行datax迁移任务。
datax-web-2.1.2.zip
08-14
《DataX Web 2.1.2：高效数据同步工具详解》 DataX Web 是阿里巴巴开源的一款基于 DataX 的数据同步平台，它为用户提供了友好的图形化界面，简化了数据迁移过程，使得非开发人员也能轻松进行数据同步任务。在本次...
datax-web-ui:DataX Web UI
03-20
Datax Web UI说明该项目由修改而来构建设置运行npm install [ 慢的话用 npm install --registry https://registry.npm.taobao.org]修改配置找到vue.config.js修改proxy里的属性即可[process.env.VUE_APP_API]: { ...
datax-web-2.1.2.tar.gz+datax.tar.gz
05-31
首先，我们来看一下"DataX-web-2.1.2.tar.gz"这个文件，这是DataX的Web管理界面的版本2.1.2的压缩包。DataX-web提供了图形化的操作界面，使得用户可以更加直观和便捷地配置和管理DataX任务。通过Web界面，用户可以...
datax数据迁移插件-db2writer
01-16
2. DB2数据库概述 DB2是由IBM开发的关系型数据库管理系统，广泛应用于企业级应用，特别是在金融、电信等行业。它提供了强大的事务处理能力、高可用性和安全性，支持SQL标准，且具有良好的性能和扩展性。 3. DB2...
datax数据迁移插件-db2reader
01-16
《DataX数据迁移插件——DB2Reader深度解析》 在大数据处理领域，高效、稳定的数据迁移是一项至关重要的任务。DataX作为阿里巴巴开源的一款强大、通用的数据同步工具，广泛应用于各种数据库之间的数据迁移。其中，...
阿里DataX概述
valder fields
03-28 588
    DataX 是一款支持任意异构数据系统离线数据交换的工具、框架、平台，实现了在任意的数据处理系统(RDBMS/Hdfs/Local filesystem）之间的数据交换。目前DataX支持数十种各类数据存储、计算系统，每天为阿里集团传输数据高达数十T。DataX服务的客户不仅仅局限于三淘、支付宝、阿里巴巴B2B，阿里集团外部客户有大众点评、蘑菇街等也在采用DataX建设海量数据同步中心...
Linux下datax安装
hbhe0316的专栏
10-12 413
#!/bin/sh ############################################################################################################### #Script name: installDatax.sh #Script description: Install Datax. ...
Datax
lz13419607299的博客
07-07 643
datax
Datax-Hdfs如何实现支持binary类型数据读写
Shadow_Light的博客
09-18 1202
一、问题背景 主要的源码思路还是按照这篇HdfsWriter如何实现支持decimal类型数据写入来，这里不再介绍。上篇说binary类型写入和读取会有坑，因此这篇主要解释一下坑的地方以及解决的办法。 PS：虽说binary类型的字段写入Hive，本人没有想到对于数据仓库建设使用上有什么用处，但是本着好奇、学习的心态，就去研究了一下并集成到datax内。 开头附上github地址。 二. 环境准备 Datax版本：3.0 Hadoop版本：2.7.3 Hive版本：2.3.2 三...
数据迁移工具—DataX部署与使用
zl
07-23 1859
数据迁移工具—DataX的部署与使用 文章目录数据迁移工具—DataX的部署与使用一、基本概念与原理1.什么是DataX2.DataX的原理二、下载与部署1.环境规划2.资源下载3.开始安装3.1 Maven部署3.2 dataX部署三、测试四、总结 一、基本概念与原理 1.什么是DataX   DataX 是阿里开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。是一个单机多
数据迁移：使用datax从mysql迁移到OceanBase
zibuyu886的博客
12-27 1972
1. 工具准备 mysqldump可以使用mysql自带的mysqldump。datax需要下载并编译。编译datax需要maven，使用maven需要java环境，所以。。。 1.1 安装openjdk yum install java-1.8.0-openjdk -y yum install java-1.8.0-openjdk-devel.x86_64 -y 1.2 部署maven 从Apache官网下载：https://maven.apache.org/download.cgi wget http
DATAX之MysqlReader和MysqlWriter
Xlucas的博客
03-18 9190
核心 1、MysqlReader介绍 2、MysqlWriter介绍 3、案例测试Mysql Reader 1 、快速介绍         MysqlReader插件实现了从Mysql读取数据。在底层实现上，MysqlReader通过JDBC连接远程Mysql数据库，并执行相应的sql语句将数据从mysql库中SELECT出来。不同于其他关系型数据库，MysqlReader不支持Fetch
自定义Spring中的java.lang.NumberFormatException: null的问题
qq_44847307的博客
09-15 1196
解决：Spring中的java.lang.NumberFormatException: null的问题（这是模仿Spring底层Bean注解和Value注解获取值时出现的问题）一、带你们看一下出现错的截图二、分析一下为何会出现这个错误三、eclipse创建的Spring工程结构【Maven仓库配置的】四、下面将模仿Spring【自定义Spring】代码分享给大家五、总结 一、带你们看一下出现错的截图 二、分析一下为何会出现这个错误 1、从报错来说，应该是括号里面的“变量”是null，当然也就无法转换为In
centos8安装datax+datax-web
最新发布
10-20
安装DataX和DataX-Web需要以下步骤： 1. 安装Java环境：CentOS 8默认使用OpenJDK 8，可以通过以下命令安装： ``` sudo dnf install java-1.8.0-openjdk-devel ``` 2. 安装DataX：可以从DataX的官方网站下载...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值