![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Kafka
文章平均质量分 74
pageniao
这个作者很懒,什么都没留下…
展开
-
flink程序在消费kafka数据时出现Error sending fetch request问题
在程序已经稳定运行多天、未对代码做任何修改、查看所消费数据源未出现数据增多的情况下,有一个flink程序最近出现了积压问题,很是疑惑,观察几天并查看了日志发现,每当出现加压时便会伴随该日志出现,因此便着手解决该问题。...原创 2022-08-11 15:38:33 · 7408 阅读 · 0 评论 -
Flink消费kafka的offset设置
1.问题问题简介及背景在使用Flink自带的Kafka消费API时,我们可以像单纯的使用Kafka消费对象API对其进行相应的属性设置,例如,读取offset的方式、设置offset的方式等。但是,Flink具有checkpoint功能,保存各运算算子的状态,也包括消费kafka时的offset,那这两种情况分别在什么时候起作用呢?2. Flink checkpoint设置flink并不依赖kafka或zookeeper保证容错,其保存offset只是为了外部来查询监视kafka数据的消费情况。但其提原创 2022-04-19 19:47:16 · 10087 阅读 · 2 评论 -
Flink 两阶段提交sink探索(Mysql)
1. 简单介绍目的Flink能够提供其应用内部范围的端到端的exeatly-onece语义数据流转,其本身提供的Kafka Sink连接器便继承了TwoPhaseCommitSinkFunction抽象类,使用两阶段提交方式(需事务操作支持)结合Flink的checkpoint保证端到端一致性。而Mysql数据库支持事务,那我们为了实现数据写入Mysql时也保证程序的端到端一致性,是否可以继承该抽象类?2. 主程序import org.apache.flink.shaded.jackson2.com.转载 2022-04-18 21:30:10 · 914 阅读 · 3 评论 -
KafkaProducer和KafkaCousumer对象的创建
1.Kafka数据源API的使用1.1 KafkaProducer对象KafkaProducer类有四个开发者可以调用的构造方法,分别是:public KafkaProducer(Map<String, Object> configs)public KafkaProducer(Map<String, Object> configs, Serializer<K> keySerializer, Serializer<V> valueSerializer)原创 2021-08-03 14:33:10 · 541 阅读 · 0 评论 -
Kafka
第1章 Kafka概述1.1定义Kafka是一个分布式的基于发布/订阅模式的消息队列,主要应用于大数据实时处理领域。1.2 消息队列(Message Queue)1.2.1 传统消息队列的应用场景消息队列主要作用:异步处理、消峰处理、解耦处理1.2.2 消息队列的两种模式(1)点对点模式(一对一,消费者主动拉取数据,消息收到后消息清除)消息生产者生产消息发送到Queue中,然后消息消费者从Queue中取出并且消费消息。消息被消费以后,queue中不再有存储,所以消息消费者不可能消费到已经原创 2021-01-14 22:49:59 · 332 阅读 · 0 评论