DataX是一个用于实现各种异构数据源之间数据同步的工具，支持包括MySQL、Oracle、HDFS、Hive、ODPS、HBase等。其特点是支持多种数据库与搜索引擎之间的数据互导，具备重连、重试机制，分布式事务处理和数据一致性保护。DataX采用Framework+plugin架构，允许快速开发新插件以支持新数据源。提供Job、Splitter、Reader、Writer等组件，确保高效的数据交换。
1.datax简介
DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS(Hadoop分布式文件系统)、Hive(hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 )、ODPS(ODPS是分布式的海量数据处理平台)、HBase(HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。)、FTP等各种异构数据源之间稳定高效的数据同步功能。
2.datax的架构设计
3.datax的特点
- 支持sql-server / oracle / mysql 等jdbc支持的数据库之间互导
- 支持数据库与solr（Solr是一个独立的企业级搜索应用服务器，它对外提供类似于Web-service的API接口。）搜索引擎之间互导
- 采用http协议传送数据，在网络环境复杂和连接不稳定的情况下能正常工作，也可以扩展成集群、转发、负载均衡等
- 网络不稳定、数
最低0.47元/天 解锁文章
扫一扫
3829
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
