Kafka安装

kafka深入理解：点这里啊

一、解压缩并安装

官方下载：点这里

二、修改配置文件

vi /config/server.properties

1、设置broker.id

一台机器一个broker.id，由于我们是伪分布式的，所以只有一个

2、设置监听器端口

3、设置kafka日志目录

【别忘记创建这个目录】

4、设置Zookeeper端口

伪分布式的Zookeeper可以只配一个，而Zookeeper集群模式下，可以都写入，用 , 分开

5、设置可以删除topic

6、设置留存时间

kafka默认是保存7天的数据，需要的话可以自己更改，这里就默认

三、添加环境变量

export KAFKA_HOME=/opt/soft/kafka
export PATH=$KAFKA_HOME/bin:$PATH

source 一下

四、启动等相关命令

前提：先启动Zookeeper
启动命令：zkServer.sh start

启动kafka

kafka-server-start.sh /opt/soft/kafka/config/server.properties

后台启动

kafka-server-start.sh -daemon /opt/soft/kafka/config/server.properties
或者
nohup kafka-server-start.sh  /opt/soft/kafka/config/server.properties >kafka.logs 2>&1

关闭kafka

kafka-server-stop.sh

查看kafka队列主题

kafka-topics.sh  --zookeeper 192.168.159.100:2181 --list

创建主题（partitions :分区数，replication-factor：副本数<=broker数）

kafka-topics.sh  --zookeeper 192.168.159.100:2181 --create --topic firstDemo --partitions 1 --replication-factor 1

查看主题详情

kafka-topics.sh  --zookeeper 192.168.159.100:2181 --describe --topic firstDemo

删除队列主题

kafka-topics.sh  --zookeeper 192.168.159.100:2181 --delete --topic 名字

生产消息

kafka-console-producer.sh --topic firstDemo --broker-list 192.168.159.100:9092

消费消息
（from-beginning:从头开始接收）

kafka-console-consumer.sh --topic firstDemo --bootstrap-server 192.168.159.100:9092 --from-beginning

查看队列消息数量

kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 192.168.159.100:9092 --topic firstDemo -time -1 --offsets 1

地址重置

kafka-streams-application-reset.sh --zookeeper hadoop100:2181 --application-id 组名 --input-topics 主题名

---

五、高可用安装

前提：安装好上面的伪分布式机器后，才可以进行如下操作

1、删除kafka-logs文件夹

如果用伪分布式的kafka创建过topic的话，最好将这个文件夹删除掉

2、分发kafka文件夹

将kafka文件夹分发给其他机器

scp -r kafka root@hadoop101:$PWD
scp -r kafka root@hadoop103:$PWD

并创建刚刚删除的kafka-logs文件夹

3、配置各个机器的server.properties

1.修改block.id
一台机器对应一个block.id
如果是三台kafka机器，对应的block.id是不同的，根据Zookeeper中的myid,在对应的机器上修改之

2.修改监听器的IP
各个机器就写自己的机器的IP

3、修改Zookeeper连接
将所有的机器的Zookeeper的IP和端口号都写在一起，中间用 , 分割

最后重启Zookeeper和Kafka，就可以了