datax数据同步更新策略-以mysql2mysql为例

最新推荐文章于 2024-03-28 17:51:22 发布
最新推荐文章于 2024-03-28 17:51:22 发布
阅读量3.7k 收藏 2
点赞数
分类专栏： 大数据 文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yandao/article/details/109362147
版权
全量抽取策略
{
   
    "job": {
   
        "setting": {
   
            "speed": {
   
                "channel": 3
            },
            "errorLimit": {
   
                "record": 0,
                "percentage": 0.02
            }
        },
        "content": [{
   
            "reader": {
   
                "name": "mysqlreader",
                "parameter": {
   
                    "username": "root",
                    "password": "APIB9hRP",
                    "column": [
                        "id",
                        "name",
			"age",
			"address",
			"salary"
                    ],
                    "splitPk": "id",
                    "connection": [{
   
                        "table": [
                            "company"
                        ],
                        "jdbcUrl": [
                            "jdbc:mysql://localhost:3306/datax?serverTimezone=UTC"
                        ]
                    }]
                }
            },
            "writer": {
   
                "name": "mysqlwriter"
最低0.47元/天 解锁文章
yandao
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
开源 ETL 工具 DataX 实践，从mysql到mysql的全量同步和批量更新
我是个农民的博客
01-09 3299
开源 ETL 工具 DataX 实践，从mysql 到不同结构的另一个mysql的全量同步和批量更新 链接: datax官方项目地址 查看全量同步 查看批量更新 实践步骤： 参照官方文档，采用方法一部署 如果点击下载没反应，手动复制地址，把http换成https 下载解压完成，运行自检脚本 File “datax.py”, line 114 print readerRef 。因为我电脑安装的是python3 ，脚本里是python2语法 修改下 datax.p
DataX
05-10
DataX DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。 DataX 商业版本 阿里云DataWorks数据集成是DataX团队在阿里云上的商业化产品，致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动能力，以及繁杂业务背景下的数据同步解决方案。目前已经支持云上近3000家客户，单日同步数据超过3万亿条。DataWorks数据集成目前支持离线50+种数据源，可以进行整库迁移、批量上云、增量同步、分库分表等各类同步解决方案。2020年更新实时同步能力，2020年更新实时同步能力，支持10+种数据源的读写任意组合。提供MySQL，Ora
DataX-Oracle新增writeMode支持update
最新发布
小码蚁
03-28 1704
目前 DataX更新到datax_v202309版本还不能支持Oracle写入的update，只通过DataX只能修改源码。原理：oracle 不支持类似 MySQL的和，所以只支持 insert 配置项。要实现此功能，需要利用 Oracle 的 merge 语句，先来看下 merge 语法。
DataX 二次开发支持 Oracle 更新数据
程序员大佬超的博客
12-09 3431
更改datax 的 oraclewriter 源码，通过 merge into 语句，实现 UPSERT 语义。
记一次DataX-MysqlReader性能优化
Shadow_Light的博客
09-12 9869
一、问题背景 最近在做Datax从阿里云rds数据库到Hive数据同步任务时，发现同步耗时很久，500万的数据同步配置了splitPk并配置了50个线程并发需要212s，任务同步的平均速率一直保持在3-4M/s，而本地的Mysql测试数据库同步时不分片的平均速率就能到20M/s。 二. 集群环境 Rds环境：8000iops; 8core; 16g内存 分片字段类型：bigint类...
根据不同条件更新数据
weixin_34302561的博客
11-05 905
2019独角兽企业重金招聘Python工程师标准>>> ...
mysql增量数据对历史数据更新的操作
weixin_45408791的博客
12-27 1078
111
datax实战-mysql同步数据到hive
01-07
{ job: { setting: { speed: { channel: 1 }, errorLimit: { record: 0, percentage: 0.02 } }, content: [ { reader: {
2、通过datax同步mysql相关-mysql同步到mysql、mysql和hdfs相互同步
05-29
2、通过datax同步mysql相关-mysql同步到mysql、mysql和hdfs相互同步 网址：https://blog.csdn.net/chenwewi520feng/article/details/130509875 介绍mysql的相关同步，mysql同步到mysql、mysql和hdfs相互同步
datax数据从hive导入mysql数据缺失解决
01-18
datax数据从hive表导入mysql表,数据缺失解决
DataX Web分布式数据同步工具-其他
06-12
33、对RDBMS数据源增加批量任务创建功能，选择数据源，表即可根据模板批量生成DataX同步任务； 34、JSON构建增加ClickHouse数据源支持； 35、执行器CPU.内存.负载的监控页面图形化； 36、RDBMS数据源增量抽取增加...
datax读写MySQL8的插件
04-19
datax读写MySQL8的插件，修改源码重新编译而来
DataX mysql同步到mysql
weixin_43820104的博客
03-02 3122
使用Datax web创建同步任务
Datax 数据同步
pdw2009的专栏
06-08 3365
官方Hello入门例子{ "job": { "content": [ { "reader": { "name": "streamreader", "parameter": { "sliceRecordCount": 10, "colu
mysql根据id更新语句,MYSQL更新语句以按每个ID补余排名
weixin_39568653的博客
02-07 270
I was trying to implement a query, that for each userid, rank the score and backfill the rank field, so thatid | score | rank1 | 100 | 01 | 200 | 01 | 300 | 02 | 100 | 02 | 200 | 03 | ...
datax(27):不太常见配置项querySql、preSql、postSql、splitPk
热门推荐
water Wang
02-02 7万+
每个datax的json都有自己的json配置文档，基本大同小异，有几个配置较为少用，但是用了之后，真香~ 一、querySql 1、使用教程 描述：在有些业务场景下，where这一配置项不足以描述所筛选的条件，用户可以通过该配置型来自定义筛选SQL。当用户配置了这一项之后，DataX系统就会忽略table，column这些配置型，直接使用这个配置项的内容对数据进行筛选，例如需要进行多表join后同步数据，使用select a,b from table_a join table_b on tabl.
Datax从mysql同步数据到mysql
一杯咖啡半杯糖的博客
11-09 4562
在实际使用Datax的时候，可能会使用Datax同步mysq数据到mysql，实现数据库跨库同步或者多个mysql之间相互同步，那么怎么实现呢？我们一步步来实现（基于Datax 3.0.0）
datax调研及增量更新的思路
weixin_30415113的博客
11-05 1759
一、Datax简介 ​ DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 二、框架设计 DataX本身作为离线数据同步框架，采用Framework + plugin架构构建。将数据源读取和写入抽象成为Reader/Writ...
DataX之MysqlReader插件的使用介绍
weixin_41633141的博客
06-25 5820
DataX之MysqlReader插件的使用介绍一、原理介绍MysqlReader是通过JDBC连接方式远程连接到数据库，然后根据用户配置的参数生成SELECT SQL语句或者根据用户自定义的SQL语句，执行SQL获取数据库的目标信息，然后采用DataX自定义数据类型封装结果集，交由Writer插件处理。    简而言之， MysqlReader就是通过JDBC的方式连接数据库，然后通过SELEC...
datax 持续数据同步_使用 DataX 将 Hive 与 MySQL 中的表互导
05-24
DataX 是阿里巴巴集团开源的一款数据同步工具，它支持多种数据源之间的同步，包括 Hive、MySQL、Oracle 等常见关系型数据库以及 HDFS、FTP 等非关系型数据源。下面介绍如何使用 DataX 将 Hive 和 MySQL 中的表互导。 首先需要在本地和远程服务器上安装好 DataX。然后创建一个名为 job.json 的配置文件，内容如下： ``` { "job": { "content": [ { "reader": { "name": "hdfswriter", "parameter": { "path": "/user/hive/warehouse/myhive.db/myhive_table", "defaultFS": "hdfs://localhost:9000", "fileType": "orc", "column": [ "col1", "col2", "col3" ] } }, "writer": { "name": "mysqlwriter", "parameter": { "url": "jdbc:mysql://localhost:3306/test", "username": "root", "password": "123456", "table": "mysql_table", "column": [ "col1", "col2", "col3" ] } } } ], "setting": { "speed": { "channel": "3" } } } } ``` 该配置文件定义了一个数据同步任务，将 Hive 中的 myhive_table 表导入到 MySQL 中的 mysql_table 表中。其中，hdfswriter 和 mysqlwriter 分别表示数据源和目标源的类型，parameter 参数中定义了数据源和目标源的详细信息。column 参数定义了需要同步的列。 执行以下命令启动 DataX 任务： ``` python datax.py job.json ``` 该命令会按照配置文件中的定义开始数据同步任务。在数据量较大的情况下，可以通过修改 job.json 中的 speed 参数来调整数据同步的速度，以避免对源和目标服务器的负载过大。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值