DataX安装

最新推荐文章于 2024-06-09 23:57:58 发布
最新推荐文章于 2024-06-09 23:57:58 发布
阅读量528 收藏
点赞数
文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yangfang7186/article/details/116126379
版权
DataX是阿里巴巴开源的异构数据源离线同步工具，支持多种数据源之间的数据同步。本文介绍了DataX3.0的设计理念，运行原理，并提供了安装与配置的详细步骤，包括官方下载和源码获取地址。
摘要由CSDN通过智能技术生成

DataX安装

概述

DataX离线同步工具DataX3.0介绍

DataX 是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。它是单机的，单机肯定比不了分布式。在每1个节点上都安装DataX，使用调度系统，调度不同节点上的DataX跑不同的任务。也类似分布式的功能。

Github地址：https://github.com/alibaba/DataX
DataX的设计

DataX的设计

为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候，只需要将此数据源对接到DataX，便能跟已有的数据源做到无缝数据同步。
在这里插入图片描述

框架设计

在这里插入图片描述

运行原理

在这里插入图片描述

最低0.47元/天 解锁文章
happyyuelao
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
大数据DataX（三）：DataX安装及使用
Lansonli（蓝深李）的博客
02-18 3545
注意：以上“ErrorLimit”设置指的是在Datax中Job支持用户对于脏数据的自定义监控和告警，包括对脏数据最大记录数阈值（record值）或者脏数据占比阈值（percentage值），当Job传输过程出现的脏数据大于用户指定的数量/百分比，DataX Job报错退出。DataX自带了一个“streamreader”读入数据、“streamwriter”写出数据的自检脚本，可以运行此脚本检查DataX是否正常运行。
datax安装部署
qq_31904559的博客
04-06 2049
一 前置准备 1、Linux下jdk的安装 2、Linux下Python的安装 (官方推荐2.6.x),实际其他版本目前也可以，本机自带python2.7,使用也是此版本 3、Hadoop完全分布式集群环境 二 安装 源码地址：https://github.com/alibaba/DataX 这 里 我 下 载 的 是 最 新 版 本 的 DataX3.0 。 下 载 地 址 为 ： http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar
dataX安装
码农的专栏
05-13 622
的开源版本，在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS, databend 等各种异构数据源之间高效的数据同步功能。DataX 是阿里云。
Datax安装
一杯咖啡半杯糖的博客
11-09 2518
Datax安装十分简单
DataX（DataX简介、部署、同步数据）
最新发布
2301_77836489的博客
06-09 2655
DataX（DataX简介、部署、同步数据）
DataX的安装及使用
shike1998的博客
12-07 1000
DataX的安装及使用 文章目录DataX的安装及使用DataX的安装DataX的使用stream2stream编写配置文件stream2stream.json执行同步任务执行结果mysql2mysql编写配置文件mysql2mysql.json执行同步任务mysql2hdfs编写配置文件mysql2hdfs.jsonhbase2mysqlmysql2hbasemysql2Phoenix在Phoenix中创建STUDENT表编写配置文件MySQLToPhoenix.jsonHDFSToHBase DataX
DataX
程序工厂
03-12 4088
DataX的环境搭建以及简单测试 什么是DataX DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、 HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 （这是一个单机多任务的ETL工具） 下载地址：http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz 一、前置条件 　　JDK(1.8以上，推荐1.8) 　　Python(
dataX的安装
Sunshine
01-17 358
一、前置条件 　　Linux 　　JDK(1.8以上，推荐1.8) 　　Python(推荐Python2.6.X) 　　Apache Maven 3.x (Compile DataX) 　　如何查看各条件是否满足？ 　　　　linux查看版本： cat /etc/issue cat /etc/redhat-release 　　　　JDK查看版本：（通常需要自己安装，安装参考linu...
安装DataX
叁木大数据
07-31 286
安装DataX一、概述1.1 什么是DataX1.2 DataX的设计1.3 架构设计1.4 运行原理二、入门2.1 一些官方地址2.2 安装 一、概述 1.1 什么是DataX DataX 是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能 。 1.2 DataX的设计 为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为
DataX_python3补丁，DataX安装（Windows版）
02-17
在这个“DataX_python3补丁，DataX安装（Windows版）”的主题中，我们主要关注的是如何在Python 3环境下，特别是在Python 3.7.0版本上安装和使用DataX。下面我们将详细探讨这个过程中的关键知识点： 1. **Python ...
DataX安装和使用
m0_52820789的博客
01-16 1072
DataX的安装和使用
大数据 DataX 详细安装教程
Stars.Sky 的博客
10-16 5832
大数据 DataX 详细安装教程
Datax安装及基本使用
刘大猫
10-25 8275
一、Datax概述 1.概述 2.DataX插件体系 3.DataX核心架构 二、安装 2.1下载并解压 源码地址： https://github.com/alibaba/DataX 这里我下载的是最新版本的 DataX3.0 。下载地址为： http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz # 下载后进行解压 [xiaokang@hadoop ~]$ tar -zxvf datax.tar.gz -C /opt/so
datax
eric_lee的专栏
01-24 1134
python bin/datax.py -p "-Dstarttime='2018-01-15 00:00:00' -Dendtime='2018-01-15 23:59:59' -Ddays='2018-01-15' " ../job/writemysql1.json {     "job": {         "setting": {        
9、DataX安装部署
赞的心路历程
07-05 3068
通常情况下，离线数据同步任务需要每日定时重复执行，故HDFS上的目标路径通常会包含一层日期，以对每日同步的数据加以区分，也就是说每日同步数据的目标路径不是固定不变的，因此DataX配置文件中HDFS Writer的path参数的值应该是动态的。为实现这一效果，就需要使用DataX传参的功能。DataX的使用十分简单，用户只需根据自己同步数据的数据源和目的地选择相应的Reader和Writer，并将Reader和Writer的信息配置在一个json文件中，然后执行如下命令提交数据同步任务即可。
datax安装
qq_43620910的博客
11-11 1067
1.前提条件 linux 　　JDK(1.8以上，推荐1.8) 　 　Python(推荐Python2.6.X) 　 　 查看版本号 java -version --java 版本 python -V --python版本 2. 下载 1）官网：https://github.com/alibaba/DataX 页面【Quick Start】手册与下载 2）下载链接
DataX安装部署及小试
热门推荐
BabyFish13
04-16 1万+
1、下载压缩包下载页面地址：https://github.com/alibaba/DataX不要在【Clone or download】处下载，那里下载的是源码；对于Java不是很在行的人来说，自行编译显得有点困难。而是在：【Quick Start】--->【Download DataX下载地址】进行下载。下载后的包名：datax.tar.gz。解压后{datax}目录下有{bin  con...
Datax 与 Datax-Web 安装部署
运维-晓柏的博客
11-22 4914
详细记录了datax与datax-web安装部署过程。
datax安装部署linux
09-20
你可以按照以下步骤在Linux上安装和部署DataX软件： 1. 在终端中运行以下命令，下载DataX软件包： ``` wget http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz ``` 2. 解压缩下载的软件包并将其安装到`/usr/local/`目录下： ``` tar zxf datax.tar.gz -C /usr/local/ ``` 3. 删除插件目录下的隐藏文件，以避免可能出现的配置错误： ``` rm -rf /usr/local/datax/plugin/*/._* ``` 4. 验证DataX安装是否成功。使用以下命令进入DataX的bin目录： ``` cd /usr/local/datax/bin ``` 5. 运行以下命令来验证DataX是否正常工作，其中`../job/job.json`是您的作业配置文件的路径： ``` python datax.py ../job/job.json ``` 通过以上步骤，您应该能够在Linux上成功安装和部署DataX软件。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值