![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
不曾听说
一切伟大的行动和思想,都有一个微不足道的开始。
展开
-
[Kafka]spring-kafka中的配置详解
#################consumer的配置参数(开始)##################如果'enable.auto.commit'为true,则消费者偏移自动提交给Kafka的频率(以毫秒为单位),默认值为5000。spring.kafka.consumer.auto-commit-interval; #当Kafka中没有初始偏移量或者服务器上不再存在当前偏移量时该怎么办...转载 2019-11-18 10:44:14 · 1908 阅读 · 1 评论 -
[Kafka]命令行操作
上篇文章[Kafka]安装与部署中,搭建了一个三节点的Kafka集群环境。这篇文章来谈谈如何使用命令行操作集群。topic创建创建一个名为test01的topicbin/kafka-topics.sh \--create \--zookeeper 192.168.133.13:2181,192.168.133.14:2181,192.168.133.15:2181 \--repl...原创 2019-11-12 16:53:28 · 1332 阅读 · 0 评论 -
[Kafka]安装与部署
新的版本中kafka都内置了zookeeper,但是内置的zookeeper最好只用作测试,作为线上使用,最好是自己下载新的稳定版的zookeeper,并搭建集群。搭建的流程,可以参考我的另外关于搭建zookeeper集群的文章——《[ZooKeeper]实践篇-安装并搭建集群》文章目录一、下载kafka二、安装一、下载kafka现在最新的kafka版本是2.3.0,可以进官网下载。...原创 2019-11-12 14:48:03 · 1153 阅读 · 0 评论 -
[ZooKeeper]实践篇-命令操作
文章目录一、建立客户端连接二、客户端命令1.查询指令ls命令stat命令2.创建指令create命令节点类型指定3.修改指令set命令4.删除指令delete指令deleteall5.监控指令setquotalistquotadelquota一、建立客户端连接./zkCli.sh -server 192.168.133.14:2181[app@node1 bin]$ ./zkCli.sh...原创 2019-11-06 17:31:43 · 1527 阅读 · 0 评论 -
[ZooKeeper]实践篇-安装并搭建集群
上一篇讲了一些关于zookeeper的理论知识,这一篇讲的是实践。从0到1,安装部署一套可用的zookeeper三节点zookeeper集群环境。由于我是在自己笔记本上面装的虚拟机,因此无法提供性能较强的虚拟机。由于某些历史原因,机器版本存在差距,具体机器信息以及版本信息如下表所示:服务器列表ipOS release192.168.133.13CentOS6.5...原创 2019-11-06 11:45:20 · 1094 阅读 · 0 评论 -
[ZooKeeper]理论篇
这篇文章的背景,是因为公司需要进行kafka的研究,而虽然新版本上弱化了zookeeper的作用,新版本中移除了客户端对ZK的依赖,但是broker依然依赖于zookeeper。一、概述官方的解释ZooKeeper是用于维护配置信息,命名,提供分布式同步和提供组服务的集中式服务。ZooKeeper 是一个典型的分布式数据一致性解决方案,分布式应用程序可以基于 ZooKeeper 实现诸...原创 2019-11-05 16:28:14 · 1109 阅读 · 0 评论 -
[Kafka]原理篇-消息查找
前面提到,数据保存时,如果是以集群形式,那么就有多个partition分布在不同机器上,每个partition又划分为多组segment,每个segment又包含.log,.index,.timeindex文件,用于存放每条message的offset,消息大小,消息体等信息。那么问题来了,要查找一个offset为368801的消息,该如何查找?以下给出原理图:1.根据二分法,找出对应的s...原创 2019-11-01 14:25:30 · 1417 阅读 · 0 评论 -
[Kafka]基本概念
概念kafka是用于构建实时数据管道和流应用程序。具有横向扩展,容错,wicked fast(变态快)等优点,并已在成千上万家公司运行。producer 生产者,消息产生者,消息的入口。consumer 消费者,消息消费,消息的出口。consumer group 消费者组,同一组消费者消费同一个topic中的不同分区数据。topic 标签,消息的种类。技术角度考虑就是队列,生产者把消息...原创 2019-11-01 11:21:04 · 1046 阅读 · 0 评论