![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
文章平均质量分 70
雾岛与鲸
这个作者很懒,什么都没留下…
展开
-
kafka connect结合debezium采集oracle数据的时候,任务失败重启的数据偏移量问题
这将导致旧 SCN 值和新提供的 SCN 值之间发生的更改丢失,并且不会写入主题。当连接器报告找不到此偏移 SCN 时,这表明仍然可用的日志不包含 SCN,因此连接器无法从它停止的地方挖掘更改。Debezium Oracle 连接器在偏移量中维护两个关键值,一个名为 scn 的字段 和另一个名为commit_scn的字段。找出连接器的最后一个偏移量、存储它的键并确定用于存储偏移量的分区。重启对应的task,就可以从设置的新的低水位线开始消费了。找出包含连接器偏移量的主题的名称。属性的值进行配置的。原创 2023-03-17 16:11:11 · 1035 阅读 · 0 评论 -
Kafka Connect 的 REST API 接口
REST API由于 Kafka Connect 的意图是以服务的方式去运行,所以它提供了 REST API 去管理 connectors,默认的端口是 8083(我们也可以在启动 Kafka Connect 之前在配置文件中添加 rest.port 配置):GET /connectors:返回所有正在运行的 connector 名POST /connectors:新建一个 connector;请求体必须是 json 格式并且需要包含 name 字段和 config 字段,name 是 connect原创 2022-05-10 11:50:54 · 2891 阅读 · 0 评论 -
Kafka connect: 使用JDBC connector同步无主键的表时,如何处理无法执行delete操作的问题?
环境:kafka 2.8.0debezium 1.9.0Source端:{ "name": "oracle-source-connector-5", "config": { "connector.class" : "io.debezium.connector.oracle.OracleConnector", "tasks.max" : "1", "database.server.name" : "ORCL", "da原创 2022-04-30 10:18:46 · 1118 阅读 · 0 评论 -
使用kafka connect结合debezium的方式采集oracle数据,日期类型时区问题处理
环境配置:1、kafka 2.8.02、debezium 1.9.03、oracle 11g使用kafka connect结合debezium的方式采集oracle数据, 参考我的上篇文章 https://blog.csdn.net/qq_36039236/article/details/124236918?spm=1001.2014.3001.5501本篇主要解决使用 debezium 采集数据过程中,日期类型的数据比正常时间多8个小时的问题,废话少说,直接上干货。我的解决办法是直接调整 de原创 2022-04-26 16:32:25 · 4590 阅读 · 0 评论 -
使用kafka connect结合debezium的方式采集oracle数据
环境配置:1、kafka 2.8.02、debezium 1.9.03、oracle 11g1、oracle环境配置该步骤参考我的上篇文章 https://blog.csdn.net/qq_36039236/article/details/124235751?spm=1001.2014.3001.5502本章节继续针对FAMILY.STUDENT_INFO表进行操作。2、kafka connect配置kafka内部集成了kafka connect, 只需要下载对应的debezium-orac原创 2022-04-18 10:59:35 · 4071 阅读 · 12 评论 -
Kafka 基础架构以及原理
1、Kafka基础架构1)、Producer : 消息生产者,就是向 kafka broker 发消息的客户端;2)、Consumer : 消息消费者,向 kafka broker 取消息的客户端;3)、Consumer Group (CG) : 消费者组,由多个 consumer 组成。消费者组内每个消费者负 责消费不同分区的数据,一个分区只能由一个组内消费者消费;消费者组之间互不影响。所 有的消费者都属于某个消费者组,即消费者组是逻辑上的一个订阅者。4)、Broker : 一台 kafka 服原创 2021-03-18 17:34:58 · 690 阅读 · 1 评论 -
flink维表关联系列之kafka维表关联:广播方式
Flink中广播状态假设存在这样一种场景,一个是用户行为数据,一个是规则数据,要求通过规则去匹配用户行为找到符合规则的用户,并且规则是可以实时变更的,在用户行为匹配中也能根据规则的实时变更作出相应的调整。这个时候就可以使用广播状态,将用户行为数据看做是一个流userActionStream,规则数据也看做是一个流ruleStream,将ruleStream流中数据下发到userActionStream流中,使得在userActionStream流中每一个Task都能获取到ruleStream流中所有数据,原创 2020-09-16 16:27:05 · 1293 阅读 · 2 评论 -
MySQL数据实时同步到Hive, Confluent环境搭建
1.背景最近研究了mysql 数据库实时转移 hive 的方案,目的是要把数据库中某些表的指定数据实时的转移到 hive 数据库中。在调研的过程中了解到Confluent平台可以很好的实现这个功能,于是开始逐步深入探究其使用方法和工作原理。2.Confluent初探Confluent 官网资料很多,本章主要对一些必要的概念或者是和本实验有关的东西进行重点讲解。2.1. Confluent Platform功能Confluent是用来管理和组织不同数据源的流媒体平台,可以实时地把不同源和位置的数据原创 2020-07-31 11:13:03 · 1454 阅读 · 1 评论