Kafka
文章平均质量分 60
Kafka消息队列运用
ヾ临江仙
这个作者很懒,什么都没留下…
展开
-
实时同步sqlserver数据,写入kafka
本文使用的是debezium连接器来实时同步SQL server数据,再写入到kafka消息队列中。原创 2021-02-08 18:24:25 · 2014 阅读 · 3 评论 -
实时同步Oracle数据,写入Kafka
很多文章都是基于standalone模式运行,这里使用的是distribute模式运行,通过kafka-connect-oracle来实时同步oracle数据,再写入到kafka消息队列中。原创 2021-02-08 16:25:28 · 2649 阅读 · 33 评论 -
Kafka数据写入Hudi
Kafka To Hudi1.配置pom.xml文件2.main方法入口1.配置pom.xml文件<dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.12</artifactId> <version>2.4.5</version></dependency><dependency>原创 2021-01-15 19:55:56 · 1716 阅读 · 4 评论 -
Canal组件监控mysql数据,写入Kafka
Canal To Mysql1.配置pom.xml文件2.main方法入口3.Canal客户端4.解析binlog5.Produce方法1.配置pom.xml文件<dependencies> <dependency> <groupId>com.alibaba.otter</groupId> <artifactId>canal.client</artifactId> <version原创 2020-12-19 23:23:37 · 237 阅读 · 1 评论 -
深入了解Kafka架构之数据可靠性保证
目录1、ack应答机制2、Exactly Once3、Producer 事务为保证 producer 发送的数据,能可靠的发送到指定的 topic,topic 的每个 partition 收到producer 发送的数据后,都需要向 producer 发送 ack(acknowledgement 确认收到),如果producer 收到 ack,就会进行下一轮的发送,否则重新发送数据。1、ack应答机制Kafka 为用户提供了三种可靠性级别,用户可根据对可靠性和延迟的要求进行权衡。0prod原创 2020-07-08 23:23:24 · 158 阅读 · 0 评论 -
Kafka Eagle连接mysql问题
Kafka Eagle安装问题一、问题描述二、解决方法三、Eagle链接一、问题描述com.mysql.jdbc.exceptions.jdbc4.MySQLNonTransientConnectionException:Could not create connection to database server.无法连接mysql二、解决方法其主要问题是mysql驱动过低, 需要用更高版本的的Eagle本人尝试过从1.2版本起,到2.0版本的Eagle,仍然无法连接上mysql 8.0.原创 2020-07-08 14:21:52 · 1628 阅读 · 1 评论