- 博客(9)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 kafka同步异步消费和消息的提交
1. 消费者位置(consumer position)因为kafka服务端不保存消息的状态，所以消费端需要自己去做很多事情。我们每次调用poll()方法他总是返回已经保存在生产者队列中还未被消费者消费的消息。消息在每一个分区中都是顺序的，那么必然可以通过一个偏移量去确定每一条消息的位置。偏移量在消费消息的过程中处于重要的作用。如果是自动提交消息，那么poll()方法会去在每次获取消息的时候自...
2019-06-27 17:07:23
9204
原创 kafka主要配置
Kafka为broker,producer和consumer提供了很多的配置参数。 了解并理解这些配置参数对于我们使用kafka是非常重要的。官网配置地址：Configuration每个kafka broker中配置文件server.properties默认必须配置的属性如下： 1 broker.id=0 2 port=9092 3 num.network.thread...
2019-06-27 15:34:22
129
转载 Kafka消费者组再均衡问题（转）
再均衡发生的场景有以下几种：1. 组成员发生变更(新consumer加入组、已有consumer主动离开组或已有consumer崩溃了)2. 订阅主题数发生变更，如果你使用了正则表达式的方式进行订阅，那么新建匹配正则表达式的topic就会触发rebalance3. 订阅主题的分区数发生变更鉴于触发再均衡后会造成资源浪费的问题，所以我们尽量不要触发再均衡group.id指定了消费者所...
2019-06-27 14:41:45
865
转载 关于Kafka 的 consumer 消费者手动提交详解（转）
转自：https://www.cnblogs.com/xuwujing/p/8432984.html前言在上一篇Kafka使用Java实现数据的生产和消费demo中介绍如何简单的使用kafka进行数据传输。本篇则重点介绍kafka中的consumer消费者的讲解。应用场景在上一篇kafka的consumer消费者，我们使用的是自动提交offset下标。但是offset下标...
2019-06-27 14:13:38
877
原创 Kafka实例学习网站
https://www.jianshu.com/p/48eddba198fahttps://www.jianshu.com/u/f3baddfa95fc
2019-06-26 20:09:45
108
原创 华为DMS-Kafka SLF4J: Failed toString() invocation on an object of type [org.eclipse.jetty.websocket.s
在配置SpringBoot的log时，遇到如下错误：SLF4J: Failed toString() invocation on an object of type [org.eclipse.jetty.websocket.server.WebSocketServerFactory]Reported exception:java.lang.NullPointerException ...
2019-06-25 19:31:00
1324
转载 KafKa学习之路（转）
1、Kafka学习之路 （一）Kafka的简介：https://www.cnblogs.com/qingyunzong/p/9004509.html2、Kafka学习之路 （二）Kafka的架构：https://www.cnblogs.com/qingyunzong/p/9004593.html3、Kafka学习之路 （三）Kafka的高可用：https://www.cnblogs.com...
2019-06-04 19:52:55
116
原创 普通常见命令
查看所有进程：jps搜索进程：ps -ef|grep (java)杀死进程: kill -9 (进程ID)查看哪些端口被打开 netstat -anp查看当前所有tcp端口 netstat -ntlp查看所有80端口使用情况·netstat -ntulp |grep 80查看服务端口：netstat -tunlp|egrep "(2181|9092)"...
2019-06-04 18:13:43
138
转载 linux ps -ef|grep 命令的以下几列分别代表什么
1) root进程用户ID（UID），2) 2978进程ID（PID）3)2652父进程ID（PPID）4) 0CPU调度情况（C）CPU用于计算执行优先级的因子。5)09:27进程启动的时间（STIME）6) pts/0启动进程的终端名7)00:00:00进程共占用CPU的时间（TIME）8) grep redis启动进程的命令（CMD）ht...
2019-06-04 18:13:05
3349
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人