由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。
Producer 即生产者,向 Kafka 发送消息,在发送消息时,会根据 Topic 对
消息进行分类。
Consumer 即消费者,通过与 kafka 建立长连接的方式,不断地拉取消息
并对这些消息进行处理。
Topic 即主题,通过对消息指定主题可以将消息分类,消费者可以只关注
自己需要的 Topic 中的消息即可。
每一个主题下可以拥有不同的目录( partition ),目录的命令是根据主题(Topic)+ 有序序号组成的。
不同于activeMQ消息队列, Kafka 的设计是把所有的 Message 都要写入速度低、容量大的硬盘,以此来换取更强的存储能力 , 同时因为 Kafka 在磁盘上只做 Sequence I/O (顺序写) ,所以并没有对硬盘带来过大的损失
并且在读取数据的时候改变读取方式,通过0拷贝的方式读取,依次减少读的时间
安装kafka
1、下载解压kafka_2.12-2.5.0
2、注意config目录下的server.properties配置文件中属性
// 这里是zookeeper地址,如果是本地的zk使用默认的就行
zookeeper.connect=localhost:2181
3、双击bin/window下的kafka-server-start.bat文件,注意先开启zk