What is Kafka?
Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据,也是为了通过集群来提供实时的消费。
kafka的消息处理核心是Topic机制。
简要使用手册
安装
版本
从官网获取到安装包,kafka_2.12-0.10.2.1.tgz。说明下版本:- kafka_后面的代表了scala的版本与kafka的版本使用一个”-“隔开
- 2.12代表scala版本号
- 0.10.2.1是kafka版本号
安装
上传kafka_2.12-0.10.2.1.tgz到服务器/home目录
假设我们将kafka安装到/home/kafka目录- 解压->复制全部解压文件到/home/kafka目录
$ mkdir /home/kafka $ tar -zxvf kafka_2.12-0.10.2.1.tgz $ cp -R /home/kafka_2.12-0.10.2.1/ /home/kafka/ $ rm -rf kafka_2.12-0.10.2.1.tgz $ rm -rf /home/kafka_2.12-0.10.2.1/
- 解压->复制全部解压文件到/home/kafka目录
就这么简单,kafka安装完了,不过我们还得了解下基本配置和Shell,才能正在运行发挥kafka的威力
配置
配置目录
我们首先来看下,kafka主目录下的config配置文件目录,这里存放着kafka和zookeeper的配置文件。
config配置文件目录
我们在这里只说明几个主要的配置文件- kafka服务配置:server.properties
- zookeeper服务配置:zookeeper.properties
- 日志配置:log4j.properties
- 消息生产者配置:producer.properties
- 消息消费者配置:consumer.properties
bin命令行(Shell)目录
我们这里只说明常用命令- kafka服务启动:kafka-server-start.sh
- kafka服务关闭:kafka-server-stop.sh
- kafka的Topic操作:kafka-topics.sh
- kafka命令行模拟生产者:kafka-console-producer.sh
- kafka命令行模拟消费者:kafka-console-consumer.sh
- zookeeper服务启动:zookeeper-server-start.sh
- zookeeper服务关闭:zookeeper-server-stop.sh
- zookeeper命令行客户端:zookeeper-shell.sh