kafka学习系列
枫夜求索阁
毕业于华南农业大学,现就业于凯通科技股份有限公司,为高级软件工程师。主要工作是和大数据相关,熟悉spark、CDH等大数据相关领域技术。
展开
-
spring-kafka 设置发送消息的大小
环境spring boot2spring cloudspring-kafkakakfa 2.2.0场景程序调用spring-kakfa内置的kafkaTemplate进行发送消息,但是消息实体过大,超过默认配置,导致消息发送失败。报错提示如下:The message is 2044510 bytes when serialized which is larger than the...原创 2019-11-28 17:32:49 · 7619 阅读 · 8 评论 -
kafka问题解决:windows10 下删除主题之后,异常退出,无法启动
环境win10 + kafka_2.11-1.1.0场景新增一个主题之后,进行删除操作,kafka异常退出。无法打开。打开报错:java.nio.file.AccessDeniedException解决方法关闭kafka和zookeeper到zookeeper的日志目录(查看$KAFKA_HOME\config\zookeeper.properties的dataDir选项),删除最新...原创 2019-09-19 13:49:54 · 1971 阅读 · 4 评论 -
kafka问题解决:Error while fetching metadata with correlation id 1 : {alarmHis=LEADER_NOT_AVAILABLE}
环境springboot2 + kafka_2.11-1.1.0,kafka是单机版环境报错提示Error while fetching metadata with correlation id 1 : {alarmHis=LEADER_NOT_AVAILABLE}报错原因获取相关ID为xx的元数据时出错问题解决修改 config\server.properties,修改内容如...原创 2019-09-19 00:07:24 · 11041 阅读 · 1 评论 -
问题修复:启动kafka服务器,显示内存不足
问题场景按照Kafka网站的启动步骤进行测试,发现问题。问题描述容器显示内存不足 failed; error=’Cannot allocate memory’ (errno=12)解决方式修改命令调用java的参数,$KAFKA_HOME是Kafka的目录cd $KAFKA_HOME/binvi kafka-server-start.sh将 export ...原创 2018-04-11 15:43:13 · 1875 阅读 · 0 评论 -
kafka学习系列:消息发送确认机制,避免程序退出导致数据丢失的情况
在使用spring-kafka进行功能开发的时候,思考过这样一个问题:假如使用信号量的方式来终止程序,虽然我们使用了kafkaTemplate.send方法发送了,但是假如程序在发送过程就关闭了,是否就会造成数据丢失?即我们调用了kafkaTemplate.send方法发送了数据,认为数据已经发送了;但是程序关闭的时候,导致数据未发送成功,进而导致了数据丢失情况的发生。本文就是针对这种情况提出了解决方案。原创 2020-05-08 14:01:56 · 3073 阅读 · 0 评论 -
kafka学习系列:根据数据库获取主题列表,并根据主题启动不同的消费者,实现主题间消费互不影响
公司自研框架开发中,使用了kafka组件,需要根据不同的业务,监听不同的主题。每个业务的主题是动态可变的,所以监听的主题也是需要根据变化动态地重启。通过研究spring-kafka的源码和文档,最终实现这个功能。原创 2020-05-02 15:30:00 · 612 阅读 · 0 评论