kafka
文章平均质量分 59
liuhehe321
积跬步,足以至千里!
实践出真知!
展开
-
kafka消费者报错INVALID_FETCH_SESSION_EPOCH
https://blog.csdn.net/qq_42150559/article/details/100747641转载 2021-05-13 15:42:53 · 1749 阅读 · 0 评论 -
05-kafka性能调优实战
线上环境规划JVM参数设置kafka是scala语言开发,运行在JVM上,需要对JVM参数合理设置,参看JVM调优专题修改bin/kafka-start-server.sh中的jvm设置,假设机器是32G内存,可以如下设置:exportKAFKA_HEAP_OPTS="-Xmx16G -Xms16G -Xmn10G -XX:MetaspaceSize=256M -XX:+UseG1GC -XX:MaxGCPauseMillis=50 -XX:G1HeapRegionSize=16M".原创 2021-03-07 22:42:46 · 1000 阅读 · 0 评论 -
04-Kafka设计原理详解
Kafka核心总控制器Controller在Kafka集群中会有一个或者多个broker,其中有一个broker会被选举为控制器(Kafka Controller),它负责管理整个集群中所有分区和副本的状态。当某个分区的leader副本出现故障时,由控制器负责为该分区选举新的leader副本。 当检测到某个分区的ISR集合发生变化时,由控制器负责通知所有broker更新其元数据信息。 当使用kafka-topics.sh脚本为某个topic增加分区数量时,同样还是由控制器负责让新分区被其他节..原创 2021-03-07 22:20:10 · 317 阅读 · 0 评论 -
kafka SASL_SSL发送消息
@Componentpublic class KafkaTest { @Value("${spring.kafka.producer.retries}") private int retries; @Value("${spring.kafka.producer.batch-size}") private int batchSize; @Value("${spring.kafka.producer.linger:1}") private int li...原创 2021-01-27 09:39:32 · 657 阅读 · 2 评论 -
kafka消费者之seek方法
https://blog.csdn.net/qq_39839075/article/details/105522855kafka seek学习原创 2020-08-23 21:48:49 · 1406 阅读 · 0 评论 -
Failed to start bean ‘org.springframework.kafka.config.internalKafkaListenerEndpointRegistry
kafka: bootstrap-servers: 100.95.147.134:9094,100.95.144.104:9094,100.95.146.104:9094 consumer: properties: security: protocol: PLAINTEXT原创 2020-08-13 16:25:48 · 5071 阅读 · 1 评论 -
kafka生产 is not master
asdsad原创 2020-01-09 21:06:42 · 171 阅读 · 0 评论 -
kafka消费者消费乱序问题
问题:复现:生产数据 先add 再delete操作://使用kafka模拟 先add 再delete操作Message message = new Message(UUID.randomUUID().toString(), "add product", new Date());kafkaTemplate.send("product", JSON.toJSONString(me...原创 2019-12-13 20:46:26 · 3410 阅读 · 0 评论 -
WARN Error while fetching metadata with correlation id 5 : {testtopic=LEADER_NOT_AVAILABLE}
当生产数据的时候,报错如下:提示没有可用的kafka 主节点root@ubuntu-130:/opt/kafka_2.11-0.11.0.2/bin# ./kafka-console-producer.sh --broker-list 192.168.13.130:9092 --topic testtopic>hello[2019-07-14 23:42:47,318] WARN ...原创 2019-07-14 23:55:07 · 3949 阅读 · 0 评论 -
Kafka集群监控— Kafka Offset Minotor和kafka tools
部署Kafka Offset Minotor:•github下载jar包KafkaOffsetMonitor-assembly-0.2.0.jar :https://github.com/quantifind/KafkaOffsetMonitor/releases•启动Kafka Offset Minotor :java -cp KafkaOffsetMonitor-assembl...原创 2018-11-21 23:48:25 · 541 阅读 · 0 评论 -
01-kafka初认识
1.Kafka使用背景kafka的定义: 是一个分布式消息系统,由LinkedIn使用Scala编写,用作LinkedIn的活动流(Activity Stream)和运营数据处理管道(Pipeline)的基础,具有高水平扩展和高吞吐量。应用领域: 已被多家不同类型的公司作为多种类型的数据管道和消息系统使用。如:淘宝,支付宝,百度,twitter等目前越来越多的开源分布式处理系...原创 2018-11-18 08:25:12 · 176 阅读 · 0 评论 -
kafka配置文件详解之:server.properties
#每一个broker在集群中的唯一表示,要求是正数。当该服务器的IP地址发生改变时,broker.id没有变化,则不会影响consumers的消息情况broker.id=0 #broker server服务端口 port =9092 #处理网络请求的线程数量num.network.threads=2 #broker处理磁盘IO的线程数,数值应该大于你的硬盘num.io....转载 2018-11-18 11:39:40 · 340 阅读 · 1 评论