实时需求功能开发,两表实时增量同步——datax

现在需要mysql几张表实时同步到一个地方,考虑到增量、性能问题,做出以下重要文档。

 

 

 

某几张表实时同步


实时需求开发

一、技术组件调研

1.sqoop方式
无法实时


2.flume方式。
可以参考文章:
https://blog.csdn.net/wzy0623/article/details/73650053

方案优缺点
        利用Flume采集关系数据库表数据最大的优点是配置简单,不用编程。相比tungsten-replicator的复杂性,Flume只要在flume.conf文件中配置source、channel及sink的相关属性,已经没什么难度了。而与现在很火的canal比较,虽然不够灵活,但毕竟一行代码也不用写。再有该方案采用普通SQL轮询的方式实现,具有通用性,适用于所有关系库数据源。
        这种方案的缺点与其优点一样突出,主要体现在以下几方面。
在源库上执行了查询,具有入侵性。
通过轮询的方式实现增量,只能做到准实时,而且轮询间隔越短,对源库的影响越大。
只能识别新增数据,检测不到删除与更新。
要求源库必须有用于表示增量的字段。
        即便有诸多局限,但用Flume抽取关系库数据的方案还是有一定的价值,特别是在要求快速部署、简化编程,又能满足需求的应用场景,对传统的Sqoop方式也不失为一种有效的补充。


3.触发器方式
这个方案在非高并发情况下可行,如果并发较高,可以考虑中间表并且记录版本号,来应对同条记录的多次操作。
https://blog.csdn.net/qq_22543991/article/details/82344282
维护成本高

4.曾经使用起来不是很友好的kettle

5.Otter&Canal
阿里开源,otter的node自带集成cannal
缺点。
在极端情况下:依赖的是binlog进行同步的,但是阿里云RDS对于binlog是有做定时清理操作的。所以如果用canal去通过binlog同步的话 一旦RDS的binlog 清理了 将无法同步,并且无法找回之前的数据。
如果考虑到只是同步极少数的表,就用了mysql的触发器。


6.datax

先从这篇文章了解一下。
https://www.codercto.com/a/45069.html

缺点:必须用python2,原因:因为后面执行datax.py的时候,里面的python的print会执行不了,导致运行不成功,会提示你print语法要加括号,python2中加不加都行 python3中必须要加,否则报语法错
阿里开源
调研下来这个组件简单容易!
https://blog.csdn.net/qq_37552993/article/details/80235010


如何优雅的实现增量?
参考文章:
https://blog.csdn.net/u010429286/article/details/82356121
请参考:
"writer":{
    "name": "mysqlwriter",
    "parameter": {
        "writeMode": "insert",  // 写入模式可以选择insert/replace/update
        "username": "root",
        "password": "root",
        "column": [
            "id",
            "name"
        ],
        "session": [
            "set session sql_mode='ANSI'"
        ],
        "preSql": [
            "delete from test" // 预执行SQL,可以选择一个delete语句
        ],
        "connection": [
            {
                "jdbcUrl": "jdbc:mysql://127.0.0.1:3306/datax?useUnicode=true&characterEncoding=gbk",
                "table": [
                    "test"
                ]
            }
        ]
    }
}


其中parameter中的writeMode可以选择insert,update,replace。并且有preSql选项,也就是在导入之前可以执行一些SQL,对我们全量数据和增量数据提供了有效的方案。

全量数据导入:通过preSql传入一条delete语句,然后writerMode选择insert执行导入(甚至如果有比较高的权限,可以直接用truncate语句,但是一般dba才有的这样权限),在delete的时候需要注意,如果数据量太大的情况下,一条delete就足以让dba找上门拉,所以添加索引就有必要拉,根据索引删除就会快一些。

增量数据导入:选择writeMode使用update,这里dataX是通过on duplicate key update语句来实现数据的增量实现,也就是说表里面有唯一键或者主键冲突时,覆盖原来的数据,这就很容易理解了,比如订单数据,订单号肯定是一个唯一键,如果导入一个已存在的订单,数据肯定会覆盖原来的数据。


二、关于otter、canal搭建与使用

    1.认识otter、canal
    https://blog.csdn.net/liupeifeng3514/article/details/79687130

    2.环境搭建详细版本。
    https://www.cnblogs.com/zhjh256/p/9261725.html

    3.cannal简单使用
    https://www.cnblogs.com/java-spring/p/8930740.html


    4.我们开始搭建,并且记录报错问题。一步步将此技术落实成功

三、关于datax的分钟级人物铺设


1.下载与安装。
下载页面地址:https://github.com/alibaba/DataX 在页面中【Quick Start】--->【Download DataX下载地址】进行下载。下载后的包名:datax.tar.gz。解压后{datax}目录下有{bin conf job lib log log_perf plugin script tmp}几个目录。
解压缩
tar -zxvf 文件名

然后我们配置json文件了

 python /root/lsz/datax/bin/datax.py /root/lsz/datax/job/mysql2mysql.json
 
 
 
 2.mysql 与hive表互相导入的文档:
 
 https://blog.csdn.net/dr_guo/article/details/82222151
 
 本文纯属原创,仅提供学习作用,请勿复制和转载。
 
 

 

3.压力测试明天进行,先截图一下目前的测试虚拟机。

 

 

此外,参考这篇文章,对于增量更加的有体会。

 

 

听说生成服务器会很快很快。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值