Datax系列(二) MysqlReader → MysqlWriter

最新推荐文章于 2024-07-11 10:40:40 发布

海鸥~

最新推荐文章于 2024-07-11 10:40:40 发布

阅读量965

点赞数 1

分类专栏： Big Data ------ 技术栈 # Datax 文章标签： 1024程序员节 datax

此文章为海鸥女生原著，转载请留言，并声明出处。

本文链接：https://blog.csdn.net/Charlie_jun/article/details/109260389

版权

本文介绍了使用DataX从Mysql数据库读取数据并同步到另一个数据库的过程。DataX是阿里巴巴的离线数据同步工具，支持多种异构数据源之间的稳定高效同步，包括关系型数据库、HDFS、Hive等。它采用插件架构，提供Reader和Writer插件进行数据读写，目前已有丰富的插件支持各种数据源。

摘要由CSDN通过智能技术生成

从mysql数据库读取数据同步到另一个数据库

DataX 是阿里巴巴集团内被广泛使用的异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、MaxCompute(原ODPS)、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。

DataX本身作为离线数据同步框架，采用Framework + plugin架构构建。将数据源读取和写入抽象成为Reader/Writer插件，纳入到整个同步框架中。目前已经有了比较全面的插件体系，主流的RDBMS数据库、NOSQL、大数据计算系统都已经接入。

#  serverTimezone=PRC   当mysql为8.0的时候  需要加PRC参数  否则连接失败

{
   
  "job": {
   
    "setting": {
   
      "speed": {
   
        "channel": 8
      },

关注

专栏目录