![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
文章平均质量分 81
小小可凡
这个作者很懒,什么都没留下…
展开
-
win 安装配置kafka&zookeeper
安装zookeeper 以下是安装包 链接: https://pan.baidu.com/s/1_gdkRZ0Ka66D1B95n1Jyew 提取码: xx6b 1. 解压文件 2. 配置环境变量 java_home&zookeeper_home 安装完成后需要添加以下的环境变量(右键点击“我的电脑” -> “高级系统设置” -> “环境变量” ): JAVA_HOME: D:\worksoft\jdk1.8" (jdk的安装路径) Path: 在现有的值后面添加"; %JAVA_HOM原创 2021-03-04 11:48:58 · 687 阅读 · 1 评论 -
kafka_消息积压_消费能力不足_有序性
消息积压处理 如果是Kafka消费能力不足,则可以考虑增加Topic的分区数,并且同时提升消费组的消费者数量,消费者数=分区数。(两者缺一不可) 消费能力不足处理 如果是下游的数据处理不及时:提高每批次拉取的数量。批次拉取数据过少(拉取数据/处理时间<生产速度),使处理的数据小于生产的数据,也会造成数据积压 有序性 kafka 中的每个 partition 中的消息在写入时都是有序的,而且单独一个 partition 只能由一个消费者去消费,可以在里面保证消息的顺序性。但是分区之间的消息是不保证有序的原创 2020-12-15 11:42:53 · 1128 阅读 · 0 评论 -
kafka理解
Kafka 简介 kafka不是一个标准的JMS(java message)java消息队列实现,它是一个类似于JMS框架 它是一个发布和拉取过程,和传统的mq是不一样的 传统的是发布和订阅的过程 服务端不会主动把数据推送给消费者,需要消费者自己主动把数据拉取过来 在架构模型方面 客户端Producer通过连接channel和server进行通信,Consumer从queue获取消息进行消费(长...原创 2019-02-15 16:47:26 · 318 阅读 · 0 评论