![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
文章平均质量分 72
lijie_cq
It's never too old to learn
展开
-
kafka集群3节点搭建
kafka版本:kafka_2.11-0.9.0.1.tgz下载地址:点击下载kafka_2.11-0.9.0.1.tgzkafka安装节点: cdhnode3 192.168.80.138 cdhnode4 192.168.80.139 cdhnode5 192.168.80.140zookeeper所在节点 cdhnode1 192.168.80.136 cdhnode2 1原创 2017-01-12 13:07:44 · 4002 阅读 · 1 评论 -
删除kafka的topic
1、kafka-topics --zookeeper zookeeper01:2181,zookeeper02:2181,zookeeper03:2181/kafka --delete --topic MQ_TOPIC_KAFKA_PROFILE_SYSTEM2、进入zookeeper-client: rmr /kafka/brokers/topics/MQ_TOPIC_KAFKA_PROFI原创 2017-10-15 17:18:39 · 395 阅读 · 0 评论 -
kafka集群监控之KafkaOffsetMonitor 0.4.1版本 以及用sbt编译KafkaOffsetMonitor
黑窗口的kafka集群没有监控,可以使用三方开源的监控工具,查询了些资料,网上流传最多的有三个监控工具:Kafka Web ConsloleKafka ManagerKafkaOffsetMonitor先补一张生产数据:根据网友的实践:Kafka Web Conslole程序运行后,会定时去读取kafka集群分区的日志长度,读取完毕后,连接没有正常释放,一段时间后产生大量的socket连接,原创 2017-06-07 11:07:49 · 8107 阅读 · 9 评论 -
Kafka集群动态修改复制因子以及数据留存时间
之前用的kafka的默认配置数据留存配置的是留存7天,并且在创建kafka topic的时候指定的副本数量为3,但是后面发现数据量太大了,一天有200G的数据,如果设置副本数为3份,然后还保留7天,那么存储最大会占用接近5个T的数据,所以决定把数据复制因子改为2,然后将数据留存时间改为12个小时。以为修改复制因子一条语句就搞定,结果发现还有点麻烦,操作如下,仅供参考:1.查看TOPIC的详细信息:原创 2017-06-26 15:51:51 · 7324 阅读 · 2 评论 -
kafka的性能测试
扔这里面记录下./bin/kafka-topics.sh --create --zookeeper 10.104.109.176:2188,10.104.86.238:2188,10.104.122.21:2188 --replication-factor 2 --partitions 6 --topic kafkatest./bin/kafka-producer-perf-test.sh \-原创 2017-06-09 17:35:05 · 574 阅读 · 0 评论 -
kafka生产者和消费者端的数据不一致
今天测试遇到了问题,kafka生产者和消费者端的数据不一致,而且数据相差还比较大,测试生产10000条数据 消费者有时候能消费10000条 有时候只能消费9多条,最开始以为是ack等等的设置,之后调整了一些生产者的参数,发现还是有问题,最后还是另外一个同事发现了最根本的问题。kafka生产者是异步生产数据,我写了个测试方法在main函数里面 用for循环模拟发送10000条数据,就是因为这个main原创 2017-06-09 16:41:04 · 4058 阅读 · 0 评论 -
kafka配置详解
———————————————————- System ———————————————————- –唯一标识在集群中的ID,要求是正数。 broker.id=0 –服务端口,默认9092 port=9092 –监听地址,不设为所有地址 host.name=debugo01– 处理网络请求的最大线程数 num.network.threads=2 – 处理磁盘I/O的线程数 num.i转载 2017-06-01 16:29:31 · 794 阅读 · 0 评论 -
java自己手动控制kafka的offset
之前使用kafka的KafkaStream:http://blog.csdn.net/qq_20641565/article/details/60810174,让每个消费者和对应的patition建立对应的流来读取kafka上面的数据,如果comsumer得到数据,那么kafka就会自动去维护该comsumer的offset,例如在获取到kafka的消息后正准备入库(未入库),但是消费者挂了,那么如原创 2017-03-21 13:08:49 · 24861 阅读 · 2 评论 -
Kafka的生产者与消费者
创建一个maven工程,程序的结构如下:pom文件<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.原创 2017-03-08 00:37:19 · 9317 阅读 · 2 评论 -
kafka Consumer均衡算法,partition的个数和消费组组员个数的关系
kafka的Consumer均衡算法有一个topic:lijietest,然后这个topic的partition和他们所在的broker的图如下:1.其中 broker有两个,也就是服务器有两台。2.partition有6个,分布按照如图所示,按照哈希取模的算法分配。3.消费者有8个,他们属于同一个消费组。如果按照如图所示,那么这一个消费组中的消费者会怎么取kafka的数据呢? 其实kafka的消原创 2017-03-02 23:54:30 · 22236 阅读 · 8 评论 -
kafka生产者和消费者的javaAPI demo
写了个kafka的java demo 顺便记录下,仅供参考1.创建maven项目目录如下: pom文件:<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apac原创 2017-02-21 10:33:39 · 16727 阅读 · 2 评论 -
kafka消费能力较弱抛异常:org.apache.kafka.clients.consumer.internals.AbstractCoordinator
今天遇到一个问题,就是kafka生产端生产的数据很快,消费的时候也很快,但是处理业务的时候比较慢,导致了程序抛异常:org.apache.kafka.clients.consumer.internals.AbstractCoordinator这个是因为,kafka消费端 poll数据的时候一次poll数据太多,在做逻辑处理的时候在很长时间都没有处理完成,导致下一次poll的时间太长,超原创 2018-01-05 23:43:26 · 10372 阅读 · 0 评论