![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
AMlyq
这个作者很懒,什么都没留下…
展开
-
kafka2.1集群部署
jdk部署 下载安装包:wgetwget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/8u121-b13/e9e7ea248e2c4826b92b3f0...原创 2019-10-28 12:49:35 · 359 阅读 · 0 评论 -
kafka常见问题如果想消费已经被消费过的数据
1、consumer是底层采用的是一个阻塞队列,只要一有producer生产数据,那consumer就会将数据消费。当然这里会产生一个很严重的问题,如果你重启一消费者程序,那你连一条数据都抓不到,但是log文件中明明可以看到所有数据都好好的存在。换句话说,一旦你消费过这些数据,那你就无法再次用同一个groupid消费同一组数据了。原因:消费者消费了数据并不从队列中移除,只是记录了offse...原创 2018-09-29 11:11:49 · 15286 阅读 · 1 评论 -
kafka常见命令
启动Kafka:/export/servers/zookeeper/bin/zkServer.sh startnohup /home/hadoop/develop_env/kafka/bin/kafka-server-start.sh /home/hadoop/develop_env/kafka/config/server.properties &查看当前服务器中的所有topicb...原创 2018-09-29 11:16:02 · 164 阅读 · 0 评论 -
kafka使用笔记
1、Segment的概念?一个分区被分成相同大小数据条数不相等的segment,每个segment由多个index文件和数据文件(.log)组成2、数据的存储机制?首先是Broker接收到数据后,将数据放到操作系统(linux)的缓存里(pagecache),pagecache会尽可能多的使用空闲内存,使用sendfile技术尽可能多的减少操作系统和应用程序之间进行重复缓存,写入数...原创 2018-09-29 11:18:45 · 141 阅读 · 0 评论