kafka 单机版

下载安装

• 下载 最新版的kafka软件

wget http://apache.opencas.org/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz

• 解压缩

tar -xzf kafka_2.11-0.9.0.0.tgz

启动

首先要进入kafka目录

• 启动zookeeper server（kafka自带的zookeeper）

bin/zookeeper-server-start.sh config/zookeeper.properties &

注意 & 号的使用：命令结尾添加 & 号，可以在执行完命令后退出当前命令环境却不会结束进程

• 启动kafka server

bin/kafka-server-start.sh config/server.properties & 

创建主题

kafka生产和消费数据，必须基于主题topic。主题其实就是对消息的分类。

• 创建主题：名称为“test”、复制数目为1、partitions为1的topic主题

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

replication-factor ： 复制数目，提供failover机制；1代表只在一个broker上有数据记录，一般值都大于1，代表一份数据会自动同步到其他的多个broker，防止某个broker宕机后数据丢失。
partitions ： 一个topic可以被切分成多个partitions，一个消费者可以消费多个partitions，但一个partitions只能被一个消费者消费，所以增加partitions可以增加消费者的吞吐量。kafka只保证一个partitions内的消息是有序的，多个一个partitions之间的数据是无序的。

• 查看已经创建的主题

bin/kafka-topics.sh --list --zookeeper localhost:2181

启动生产者和消费者

生产者产生（输入）数据，消费者消费（输出）数据

• 启动生产者

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

启动后，在命令行下每输入一些字符串按下回车时，就作为一个消息并发送的kafka

• 启动消费者

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning

启动消费者时，建议另开一个ssh窗口，方便一遍通过生产者命令行输入消息，一遍观察消费者消费的数据

当在生产者下输入消息并回车后，在消费者窗口下就能立即看到对应的消息，这就说明环境搭建成功。

链接：https://www.jianshu.com/p/d310a7628852
 

kafka下载
http://kafka.apache.org/downloads

百度网盘下载
链接：https://pan.baidu.com/s/1i-PviRc4im4Osa23EPRkqA
提取码：obr1

zookeeper下载（高版本的kafka安装包里面已经集成了zookeeper，本文还是采用外部的zookeeper）
https://zookeeper.apache.org/releases.html

百度网盘下载
链接：https://pan.baidu.com/s/1mOmiI0UXsPaeOBfv9tYFBg
提取码：b7zs

Zookeeper配置和启动

把安装包上传到opt目录并解压

• tar zxvf kafka_2.12-2.5.0.tgz

• tar zxvf apache-zookeeper-3.6.1-bin.tar.gz

Zookeeper配置和启动

• 进入zookeeper的conf目录，将zoo-samples.cfg文件重命名为zoo.cfg：
  mv zoo-samples.cfg zoo.cfg

• 编辑zoo.cfg文件:
  vi zoo.cfg

• 我就直接贴出我的配置了

# zookeeper服务器心跳时间,单位为ms
tickTime=2000

# 投票选举新leader的初始化时间
initLimit=10

# leader与follower心跳检测最大容忍时间，响应超过tickTime * syncLimit, leader认为follower死掉, 从服务器列表中剔除该follower
syncLimit=5

# 数据目录
dataDir=/tmp/zookeeper/data

# 日志目录
dataLogDir=/tmp/zookeeper/log

# zookeeper对外服务端口
clientPort=2181

其中dataDir和dataLogDir分别配置数据目录和日志目录，这两个目录需要事先建好

• 启动zookeeper
  ./bin/zkServer.sh start

• 查看zookeeper状态
  ./bin/zkServer.sh status

Kafka配置和启动

进入kafka的config目录，编辑server.properties文件

主要需要配置的有：

• broker.id

如果是集群的话，保证每个kafka实例的broker.id唯一

• listeners

配置kafka对外提供服务的地址

• log.dirs

kafka日志地址，需要先把目录建好

• zookeeper.connect

kafka注册的zookeeper地址

启动kafka

./bin/kafka-server-start.sh -daemon config/server.properties

测试kafka启动没有

创建一个topic并制定分区和副本集

./bin/kafka-topics.sh --zookeeper localhost:2181/kafka --create --topic topic-example --replication-factor 1 --partitions 1

创建消费者

./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topic-example

创建生产者

./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic topic-example

测试输入一些内容：

然后查看消费者是否有收到消息

ok，消费者也收到消息了！

查看topic详情

./bin/kafka-topics.sh --zookeeper localhost:2181/kafka --describe --topic topic-example

可以看到很多信息，比如分区数，分区副本数，ISR集合，是否leader等。。。

参考

https://weread.qq.com/web/reader/e9a32a0071848698e9a39b8k8f132430178f14e45fce0f7
https://www.cnblogs.com/alinainai/p/12951619.html
https://www.cnblogs.com/alinainai/p/12952227.html

链接：https://www.jianshu.com/p/ae259efbbc9b