DataX 介绍

最新推荐文章于 2024-08-02 10:44:46 发布
最新推荐文章于 2024-08-02 10:44:46 发布
阅读量8.2k 收藏 9
点赞数
分类专栏： ETL-阿里-Datax

image

DataX实现跨平台的、跨数据库、不同系统之间的批量数据同步。

当我们需要从各种异构数据源之间完成数据同步的时候，是否需要开发很多工具完成？答案是不用，因为你有DataX。DataX独有的Reader/Writer插件体系，你只需要增加一种DataX的插件，便可以无缝对接其他数据源。

DataX目前支持的数据源

类型ReaderWriter
RDBMS 关系型数据库MysqlReaderMysqlWriter
 OracleReaderOracleWriter
 SqlServerReaderPostgresqlWriter
 PostgresqlReaderSqlServerWriter
 DrdsReaderDrdsWriter
阿里云数仓数据存储ODPSReaderODPSWriter
  ADSWriter
NoSQL数据存储OTSReaderOTSWriter
 HBaseReader(0.94)HBaseWriter(即将推出)
 MongoDBReaderMongoDBWriter
无结构化数据存储TxtFileReaderTxtFileWriter
 HdfsReaderHdfsWriter
 OssReaderOssWriter
  OCSWriter

DataX采用Framework + plugin架构构建，Framework处理了缓冲，流控，并发，上下文加载等高速数据交换的大部分技术问题，提供了简单的接口与插件交互，插件仅需实现对数据处理系统的访问。目前已经支持数据源见上面表格，详情请看：DataX数据源指南

DataX作业运行

image

DataXJob，即一个DataX作业，用户完成指定两个数据源之间的数据传输。数据传输过程在单进程内完成，全内存操作，不读写磁盘。

DataX框架内部会将作业切分成多Task，并调度组合在TaskGroup中运行。每一个Task数据流向即Reader—>Channel—>Writer。

image

用户可以指定作业并发度完成Task并发执行控制。

DataX目前阿里的应用情况

支持阿里所有离线数据传输的业务，每天运行超过2w个作业，每天接近200T左右数据量传输

https://github.com/alibaba/DataX/wiki/DataX-Introduction

五柳-先生
关注
专栏目录
Datax介绍
记忆是一座桥的博客
01-14 1万+
1.datax简介         DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS(Hadoop分布式文件系统)、Hive(hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 )、ODPS(ODPS是分布式的海量数据...
datax底层原理_DataX介绍以及优缺点分析
weixin_42175516的博客
12-29 3790
DataX介绍：DataX 是阿里开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。DataX设计理念DataX本身作为数据同步框架，将不同数据源的同步抽象为从源头数据源读取数据的Reader插件，以及向目标端写入数据的Writer插件，理论上DataX框架可以支持...
DATAX说明书最新-20180825
08-26
完全自己手工从github上复制过来的，又对文档进行格式修改。
datax
eric_lee的专栏
01-24 1142
python bin/datax.py -p "-Dstarttime='2018-01-15 00:00:00' -Dendtime='2018-01-15 23:59:59' -Ddays='2018-01-15' " ../job/writemysql1.json {     "job": {         "setting": {        
DataX介绍
最新发布
damokelisijian866的博客
08-02 767
1. 定义与背景DataX是阿里巴巴集团内部广泛使用的离线数据同步工具/平台，后被开源出来供外部用户使用。它基于Java语言编写，通过插件化的方式支持多种数据源之间的数据同步和迁移。DataX的设计理念是“简单、可靠、高效”，旨在解决大数据领域复杂的数据同步问题。2. 主要特点高效稳定：DataX采用分布式架构，支持多线程并行处理数据，能够快速、稳定地完成大规模数据迁移。易用性强：DataX的配置和使用都非常简单，配置文件和命令行参数都非常易懂，即使是初学者也能够快速上手。功能丰富。
DataX
fyinthesky的专栏
12-20 365
=========== DataX ========== [1]获取阿里巴巴的 datax.tar.gz    其次，获取python2.7 [2]本地有 mysql postgresql 做实验 [3] 执行命令 python datax.py D:\xdata\test\mysql2mysql.json 注：datax.py位于已经下载的datax目录的bin中。 同步类型 mysq...
datax介绍及使用
09-07
DataX 介绍及使用 数据同步是大数据环境中的一项关键技术，那么如何快速的转型和构建大数据环境尤为重要。DataX 是一款优秀的异构数据源离线同步工具，由阿里巴巴开发，基于 Python，提供各种数据源的读写插件，多...
基于DataX的数据同步（上）-DataX介绍以及安装
weixin_44433834的博客
12-28 1672
作者：烧鸡太子爷 来源：恒生LIGHT云社区 1、前言 阿里云的RDS服务提供了比较完善的DTS数据迁移的方案,但是在做非阿里云间服务或跨数据库间数据迁移时还是需要用ETL方案来同步。 基于此，今天和大家一起针对DataX做一个分享和探讨，以便于后续在项目中遇到数据同步的需求的时候可以多一个技术选择 2、DataX介绍 DataX 是淘宝开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、postgreSQL等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源.
大数据之DataX
weixin_47884711的博客
03-16 4044
第1章 DataX简介 1.1 DataX概述 ​ DataX 是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 ​ 源码地址：https://github.com/alibaba/DataX 1.2 DataX支持的数据源 DataX目前已经有了比较全面的插件体系，主流的RDBMS数据库、NOSQL、大数据计算系统都已经接入，目前支持数据如下图。 类
大数据技术之DataX
大数据指北
07-19 698
大家好，我是王玉Student (o^^o) 在日常大数据生产环境中，经常会有集群数据集和关系型数据库互相转换的需求，在需求选择的初期解决问题的方法----离线数据同步工具/平台就应运而生了，小伙伴们可先收藏后慢慢研究。 小伙伴们如果觉得文章不错，点赞、收藏、评论，分享走一起呀，记得给俺来个一键三连~~ 好了，我们开始今天的正文。 文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也
DataX - 全量数据同步工具
功不唐捐，玉汝于成
02-21 2464
DataX 全量数据同步工具
datax功能介绍文档
09-09
DataX是阿里巴巴集团开源的一款大数据同步工具，用于数据传输和数据交换。它支持超过20种不同类型的数据源和数据目标的连接，包括但不限于关系型数据库、HDFS、Hive、HBase等。 DataX通过配置任务的方式实现数据传输和同步。用户可以通过一个JSON格式的配置文件来定义任务的源数据源和目标数据源，配置数据源的连接信息、字段映射和数据过滤等。配置完成后，任务可以通过命令行或调度系统来执行。 DataX具有以下几个主要功能： 1. 强大的数据源支持：DataX支持多种数据源的连接，包括MySQL、Oracle、SQL Server等主流关系型数据库，以及HDFS、Hive、HBase等大数据组件。用户可以根据需要选择合适的数据源进行同步。 2. 灵活的数据转换能力：DataX提供丰富的数据转换函数，可以对数据进行各种操作，如字段映射、数据过滤、数据转换等。用户可以根据需要编写自定义的转换函数，实现复杂的数据处理逻辑。 3. 高效的数据传输性能：DataX采用多线程并行传输的方式，可以同时处理多个任务，并且在任务执行过程中可以动态增加或减少并发线程，以适应不同的数据传输场景。 4. 可扩展的插件机制：DataX提供了灵活的插件机制，用户可以根据需要开发自定义插件来支持更多的数据源和数据目标。同时，DataX还支持第三方插件，可以方便地进行扩展和集成。 总之，DataX是一个功能强大，易于使用的大数据同步工具，通过配置任务实现数据源和目标的连接和传输，可以满足各种复杂的数据同步需求。它的开源特性和丰富的插件机制，也使得它具备了良好的可扩展性和灵活性。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值