kafka
文章平均质量分 64
houxian1103
这个作者很懒,什么都没留下…
展开
-
Kafka线上问题优化和Kafka-eagle监控平台
Kafka线上问题优化如何防止消息丢失发送方: ack是 1 或者-1/all 可以防止消息丢失,如果要做到99.9999%,ack设成all,把min.insync.replicas配置成分区备份数消费方:把自动提交改为手动提交。如何防止消息的重复消费一条消息被消费者消费多次。如果为了消息的不重复消费,而把生产端的重试机制关闭、消费端的手动提交改成自动提交,这样反而会出现消息丢失,那么可以直接在防治消息丢失的手段上再加上消费消息时的幂等性保证,就能解决消息的重复消费问题。幂等性如何保证:m原创 2022-03-13 16:53:36 · 3559 阅读 · 0 评论 -
Springboot中使用Kafka
说 明现在开发中大部分主要使用spring boot 进行开发,Kafka的Java客户端,使用比较少这里就不做介绍了,如果大家对于java 客户端使用有需求可以在评论区留言吧。Springboot中使用Kafka引入依赖<dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId></原创 2022-03-11 17:25:16 · 868 阅读 · 0 评论 -
Kafka基本介绍
Kafka介绍Kafka是最初由Linkedin公司开发,是一个分布式、支持分区的(partition)、多副本的 (replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理 大量数据以满足各种需求场景:比如基于hadoop的批处理系统、低延迟的实时系统、 Storm/Spark流式处理引擎,web/nginx日志、访问日志,消息服务等等,用scala语言编 写,Linkedin于 2010 年贡献给了Apache基金会并成为顶级开源 项目。Kafka的使用场景原创 2022-03-09 00:21:19 · 1425 阅读 · 0 评论 -
Kafka集群搭建
上两篇对kafka进行介绍和说明Kafka基本介绍kafka安装与使用搭建kafka集群, 2 个broker/usr/local/kafka/config 中创建 两个server.properties和server1.propertiesserver.propertiesbroker.id= 1listeners=PLAINTEXT://10.100.12.246:9092log.dir=/usr/local/kafka/logsserver1.propertiesbroker原创 2022-03-11 15:45:05 · 164 阅读 · 0 评论 -
kafka安装与使用
安装前的环境准备安装jdk安装zk官网下载kafka的压缩包:http://kafka.apache.org/downloads解压缩至如下路径/usr/local/kafka/修改配置文件:/usr/local/kafka/kafka2.11-2.4/config/server.properties#broker.id属性在kafka集群中必须要是唯一broker.id= 0#kafka部署的机器ip和提供服务的端口号listeners=PLAINTEXT://10.100.原创 2022-03-10 00:18:39 · 1702 阅读 · 0 评论