![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据同步
文章平均质量分 78
码猿小站
只是因为喜欢大数据
展开
-
基于FlinkCDC-3.1.1&Flink-1.18实现MySQL DDL审计告警
当前项目属于V0.1版本,里面支持的数据源不是很全面,告警渠道也有限。如果有需要的小伙伴,可以自行下载代码,然后做二次开开发。FlinkCDC 3.0版本提供了很多新能力,为数据同步提供了更多的保障机制和可能性,后续会继续探索其他新功能和新使用场景。有需要交流的小伙伴,欢迎关注我的公众号,一起交流学习。如果需要源码的小伙伴,关注公众号后回复"SQL审计"自动获取代码地址。原创 2024-07-24 11:26:09 · 739 阅读 · 0 评论 -
FlinkCDC全量及增量采集SqlServer数据
本文详细介绍Flink-CDC如何全量及增量采集Sqlserver数据源.原创 2024-02-02 18:29:04 · 3050 阅读 · 8 评论 -
【数据中台建设系列之二】数据中台-数据采集
数据采集简单来说就是从各种数据源中抓取、捕获和传输数据的一个过程。数据采集的质量和效率直接影响到数据的可用性和及时性,进而影响到组织的决策制定和业务运营,因此数据采集是数据中台建设的关键一环,也是数据中台建设不可或缺的一部分。本篇文章主要介绍了数据采集功能的架构设计和功能设计,其实在实际开发过程中,远远比当前文档描述的要复杂的多,但大致思路就是这样,希望能够给大家提供一点灵感和思路。原创 2023-10-24 16:03:14 · 1277 阅读 · 0 评论 -
Canal-adapter简单介绍及部分源码解析
Canal-adapter简单介绍及部分源码解析原创 2023-03-25 15:59:44 · 2729 阅读 · 1 评论 -
Doris(0.15.1-rc09)使用Datax-DorisWrite导致BE固定节点streamLoad任务过多问题排查
Doris(0.15.1-rc09)使用Datax-DorisWrite导致BE固定节点streamLoad任务过多问题排查原创 2022-11-17 15:49:28 · 997 阅读 · 0 评论 -
Doris升级至1.0发行版后MySQL ODBC 不可用解决方案
背景 近期在做Doris集群的升级工作,准备将doris版本从Doris-0.15.1-rc09升级至doris-1.0.0-incubating。前期按照官网集群升级要求做了升级准备,顺利完成了集群的升级工作。但升级完成后,发现doris的MySQL ODBC有问题,具体报错如下:ERROR 1105 (HY000): errCode = 2, detailMessage = driver connect Error: HY000 [MySQL][ODBC 8.0(w) Driver]SS原创 2022-05-20 16:38:11 · 3417 阅读 · 0 评论 -
利用Flink-CDC和flink-doris-connector技术实现Mysql数据全量或增量同步至Doris
简介Flink CDC: 解决了传统数据库实时同步的痛点, 该技术抛弃了其他第三方组件(例如Kafka等),能够实时读取Mysql master节点全量和增量数据,能够捕获所有数据的变化,同时它完全与业务解耦,运维也及其简单。具体介绍请参考:Flink_CDC搭建及简单使用 及 flink-cdc-connectors。Apache Doris:它是一个现代化的MPP分析型数据库产品。仅需亚秒级响应时间即可获得查询结果,有效地支持实时数据分析。Apache Doris的分布式架构非常原创 2022-05-14 10:52:26 · 5784 阅读 · 11 评论 -
DataX同步离线数据基础使用教程
DataX 是阿里云 DataWorks数据集成的开源版本,在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS 等各种异构数据源之间高效的数据同步功能。DataX本身作为数据同步框架,将不同数据源的同步抽象为从源头数据源读取数据的Reader插件,以及向目标端写入数据的Writer插件,理原创 2022-05-05 11:15:33 · 543 阅读 · 0 评论 -
Canal-adapter实时增量同步Mysql数据到Doris
一.版本介绍:canal.admin :1.1.4canal.deployer :1.1.4canal.adapter :1.1.4Doris :0.14/0.15三.多源配置:1.部署Canal不做详细介绍,可以参考官网部署。地址:https://github.com/alibaba/canal2.部署DorisApache Doris是一个现代化的MPP分析型数据库产品。仅需亚秒级响应时间即可获得查询结果,有效地支持实时数据分析。Apache Doris的分布式架构非常简洁,易于运维原创 2022-03-11 10:31:42 · 4215 阅读 · 0 评论 -
Canal-adapter实时增量同步多数据源数据(Mysql-Mysql)
Canal-adapter实时增量同步多数据源数据(Mysql-Mysql)一.版本介绍:canal.admin 1.1.4canal.deployer 1.1.4canal.adapter 1.1.4二.背景:最近项目在采用Canal-adapter来实时增量同步多个mysql数据源的数据到指定数据库,本次同步的数据源有17个。最开始是打算部署3个Canal-adapter实例,将17个数据源大致均分到每个实例下同步数据,结果在官网并没有找到相关的多个数据源配置教程,由于项目紧张,所以采用了原创 2022-03-11 10:00:42 · 4238 阅读 · 0 评论 -
Flink_CDC搭建及简单使用
Flink_CDC搭建及简单使用1.CDC简介: CDC (Change Data Capture) ,在广义的概念上,只要能捕获数据变更的技术,都可以称为 CDC 。但通常我们说的CDC 技术主要面向数据库(包括常见的mysql,Oracle, MongoDB等)的变更,是一种用于捕获数据库中数据变更的技术。 目前市面上的CDC技术非常多,常见的主要包括Flink CDC,DataX,Canal,Sqoop,Kettle,Oracle Goldengate,Debezi原创 2021-11-16 18:26:51 · 24841 阅读 · 13 评论 -
DataX同步离线数据基础使用教程
DataX 是阿里云 DataWorks数据集成的开源版本,在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS 等各种异构数据源之间高效的数据同步功能。DataX本身作为数据同步框架,将不同数据源的同步抽象为从源头数据源读取数据的Reader插件,以及向目标端写入数据的Write原创 2021-12-17 15:10:54 · 990 阅读 · 2 评论