![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
文章平均质量分 88
闻风-堡
这个作者很懒,什么都没留下…
展开
-
Flink写数据到kafka exactly-once模式下找不到序列化类的问题
flink写数据到kafka找不到序列化类的问题 问题描述: 使用FlinkKafkaProducer011写数据到kafka集群时,在idea测试没问题,数据可以正常写入kafka,但是打成jar包到flink集群执行就报了如下错误。 Caused by: org.apache.kafka.common.config.ConfigException: Invalid value org.apache.kafka.common.serialization.ByteArraySerializer for co原创 2021-05-28 15:05:26 · 346 阅读 · 0 评论 -
KafkaProducer生产者发送数据源码分析
KafkaProducer简介 KafkaProducer是线程安全的,是一个不可变对象。负责将数据发送的kafka集群。生产者由一个缓冲空间池和一个后台I / O线程组成,该缓冲池保存尚未传输到服务器的记录,该I / O线程负责将这些记录转换为请求并将它们传输到集群。 使用后如果无法关闭生产者,则会泄漏这些资源。生产者发送数据时是异步的,将数据放入缓冲区使得数据可以进行批处理,以提高发送的效率。生产者为每个分区维护未发送记录的缓冲区。 这些缓冲区的大小由 batch.size 配置指定。 增大它可以进行更原创 2021-03-11 16:09:35 · 247 阅读 · 0 评论