kafka
文章平均质量分 81
小小可凡
这个作者很懒,什么都没留下…
展开
-
win 安装配置kafka&zookeeper
安装zookeeper以下是安装包链接: https://pan.baidu.com/s/1_gdkRZ0Ka66D1B95n1Jyew 提取码: xx6b1. 解压文件2. 配置环境变量 java_home&zookeeper_home安装完成后需要添加以下的环境变量(右键点击“我的电脑” -> “高级系统设置” -> “环境变量” ):JAVA_HOME: D:\worksoft\jdk1.8" (jdk的安装路径)Path: 在现有的值后面添加"; %JAVA_HOM原创 2021-03-04 11:48:58 · 543 阅读 · 1 评论 -
kafka_消息积压_消费能力不足_有序性
消息积压处理如果是Kafka消费能力不足,则可以考虑增加Topic的分区数,并且同时提升消费组的消费者数量,消费者数=分区数。(两者缺一不可)消费能力不足处理如果是下游的数据处理不及时:提高每批次拉取的数量。批次拉取数据过少(拉取数据/处理时间<生产速度),使处理的数据小于生产的数据,也会造成数据积压有序性kafka 中的每个 partition 中的消息在写入时都是有序的,而且单独一个 partition 只能由一个消费者去消费,可以在里面保证消息的顺序性。但是分区之间的消息是不保证有序的原创 2020-12-15 11:42:53 · 1127 阅读 · 0 评论 -
kafka理解
Kafka简介kafka不是一个标准的JMS(java message)java消息队列实现,它是一个类似于JMS框架它是一个发布和拉取过程,和传统的mq是不一样的 传统的是发布和订阅的过程服务端不会主动把数据推送给消费者,需要消费者自己主动把数据拉取过来在架构模型方面客户端Producer通过连接channel和server进行通信,Consumer从queue获取消息进行消费(长...原创 2019-02-15 16:47:26 · 315 阅读 · 0 评论