![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
文章平均质量分 64
houxian1103
这个作者很懒,什么都没留下…
展开
-
Kafka线上问题优化和Kafka-eagle监控平台
Kafka线上问题优化 如何防止消息丢失 发送方: ack是 1 或者-1/all 可以防止消息丢失,如果要做到99.9999%,ack设成all,把min.insync.replicas配置成分区备份数 消费方:把自动提交改为手动提交。 如何防止消息的重复消费 一条消息被消费者消费多次。如果为了消息的不重复消费,而把生产端的重试机制关闭、消费端的手动提交改成自动提交,这样反而会出现消息丢失,那么可以直接在防治消息丢失的手段上再加上消费消息时的幂等性保证,就能解决消息的重复消费问题。 幂等性如何保证: m原创 2022-03-13 16:53:36 · 3571 阅读 · 0 评论 -
Springboot中使用Kafka
说 明 现在开发中大部分主要使用spring boot 进行开发,Kafka的Java客户端,使用比较少这里就不做介绍了,如果大家对于java 客户端使用有需求可以在评论区留言吧。 Springboot中使用Kafka 引入依赖 <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> </原创 2022-03-11 17:25:16 · 874 阅读 · 0 评论 -
Kafka基本介绍
Kafka介绍 Kafka是最初由Linkedin公司开发,是一个分布式、支持分区的(partition)、多副本的 (replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理 大量数据以满足各种需求场景:比如基于hadoop的批处理系统、低延迟的实时系统、 Storm/Spark流式处理引擎,web/nginx日志、访问日志,消息服务等等,用scala语言编 写,Linkedin于 2010 年贡献给了Apache基金会并成为顶级开源 项目。 Kafka的使用场景原创 2022-03-09 00:21:19 · 1433 阅读 · 0 评论 -
Kafka集群搭建
上两篇对kafka进行介绍和说明 Kafka基本介绍 kafka安装与使用 搭建kafka集群, 2 个broker /usr/local/kafka/config 中创建 两个server.properties和server1.properties server.properties broker.id= 1 listeners=PLAINTEXT://10.100.12.246:9092 log.dir=/usr/local/kafka/logs server1.properties broker原创 2022-03-11 15:45:05 · 187 阅读 · 0 评论 -
kafka安装与使用
安装前的环境准备 安装jdk 安装zk 官网下载kafka的压缩包:http://kafka.apache.org/downloads 解压缩至如下路径 /usr/local/kafka/ 修改配置文件:/usr/local/kafka/kafka2.11-2.4/config/server.properties #broker.id属性在kafka集群中必须要是唯一 broker.id= 0 #kafka部署的机器ip和提供服务的端口号 listeners=PLAINTEXT://10.100.原创 2022-03-10 00:18:39 · 1709 阅读 · 0 评论