ETL
装B五分钟,挨打两小时
御剑乘风来,debug 代码间。
有酒乐逍遥,无酒我亦颠,
一饮尽江河,再饮吞日月,
千杯醉不倒,唯我酒剑仙。
愉快的编程,浪浪的写代码
展开
-
To Kafka
接 CDC 功能发送 kafka Demopackage swiftpass.ganfan.com.kafka;import org.apache.kafka.clients.producer.KafkaProducer;import org.apache.kafka.clients.producer.Producer;import org.apache.kafka.clients.producer.ProducerRecord;import org.apache.kafka.common.u原创 2020-11-26 16:56:22 · 123 阅读 · 0 评论 -
MongoDB CDC 方案 Change Stream
说明: 1 前提条件 MongoDB 3.6 + 才可以使用 Change Stream 2 必须集群模式 MongoDB 3 复制协议 pv1 、存储引擎 WiredTiger本次环境:MongoDB : 三节点 4.4.2 集群JDK: 1.8 复制协议 PV1 资料: https://mongoing.com/archives/1484 存储引擎 Mongodb-3.2 以后 WiredTiger 设置为了默认的存储引擎 资料:.原创 2020-11-24 18:44:43 · 2982 阅读 · 0 评论 -
Oracle 触发器 CDC 方案
Oracle 触发器 CDC 方案一 创建 Demo表源表create table TEST_STR( id VARCHAR2(200) not null)捕获数据存取表create table CDC_TEST_STR( id VARCHAR2(200) not null, operation VARCHAR2(200) not null, operation_time DATE default sysdate)二 触发原创 2020-11-19 17:38:15 · 1012 阅读 · 0 评论 -
Kettle + SQLServer 触发器实现 CDC 方案
一 说明1.1 文档说明 本文档提供一种变化数据的捕获机制,也即是说这种机制能 够保证在数据源数据有变化的时候能够区分出这些变化的新数据和旧数据,增量的抽取这 些变化了的数据,而无需为了保证数据的同步每次都做全量的抽取。 变更数据捕获(Change Data Capture,即CDC)1.2 方案适用性 方案对所有有触发器机制的数据库都适用,除了创建触发器及中间表的逻辑因 数据库的不同而不同以外,主干抽取逻辑都一致,代码的可复用程度高,数据抽取的性能较高1.3 实原创 2020-11-19 11:13:50 · 1735 阅读 · 0 评论