centos7.5 ---Kafka单机部署

环境说明

• centos7.5
• JDK1.8_161
• Zookeeper-3.4.13
• wget http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.4.13/zookeeper-3.4.13.tar.gz
• kafka_2.12.-2.1.1
• wget http://mirror.bit.edu.cn/apache/kafka/2.1.1/kafka_2.12-2.1.1.tgz
• 最好关闭防火墙 以后需要开端口

Zookeeper单机版部署
部署步骤
1、下载zookeeper-3.4.13.tar.gz
2、解压tar -zxvf zookeeper-3.4.13.tar.gz
3、修改配置文件，将$ZOOKEEPER_HOME/conf/zoo_sample.cfg复制重命名为zoo.cfg，修改zoo.cfg
修改如下6个属性，主要是修改dataDir与dataLogDir

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/home/zookeeper-3.4.13/data
dataLogDir=/home/zookeeper-3.4.13/log
clientPort=2181

4、在设置的dataDir路径下添加文件myid在这个文件中echo 1作为单机版的节点id
5、设置zookeeper启动后，zookeeper.out日志输出位置
修改脚本$ZOOKEEPER_HOME/bin/zkEnv.sh

if [ "x${ZOO_LOG_DIR}" = "x" ]
then
    ZOO_LOG_DIR="/.../zookeeper/log"
fi

启动测试
1、进入$ZOOKEEPER_HOME/bin路径下 ./zkServer.sh start
2、./zkServer.sh status查看启动状态或者jps命令查看服务。QuorumPeerMain表示zookeeper服务

11729 QuorumPeerMain
24982 Jps
————————————————

Kafka单机版部署

1、下载kafka_2.12
2、解压tar -zxvf kafka_2.12.tgz
3、设置kakfa环境变量,修改/etc/profile文件添加如下配置，然后source /etc/profile使其生效

export KAFKA_HOME=/home/kafka_2.12
export PATH=$PATH:$KAFKA_HOME/bin

命令行输入kafka，Tab键检查是否自动提示bin目录下命令检查是否配置成功
3、修改配置文件：$KAFKA_HOME/config目录下的server.properties
设置如下参数，其他参数使用默认值，broker.id对应zookeeper中myid中的数值

broker.id=1

port=9092
host.name=localhost
# kafka代理地址
listeners=PLAINTEXT://:9092

log.dirs=/home/panfudong/soft/kafka/kafka_2.12/kafka-logs

zookeeper.connect=localhost:2181

启动测试
1、进入$KAFKA_HOME路径
2、./bin/kafka-server-start.sh --daemon  config/server.properties启动kafka
3、使用jps命令查看进程出现Kafka表明启动成功
4、如果失败去$KAFKA_HOME/logs下查看server.log日志
————————————————

步骤3：测试创建topic 

cd /usr/local/kafka/bin 
./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test 

步骤4：通过list命令查看创建的topic 

cd /usr/local/kafka/bin 
./kafka-topics.sh –list –zookeeper localhost:2181 

步骤5：生产消息测试 

[root@test bin]# ./kafka-console-producer.sh --broker-list localhost:9092 --topic test 
laoyang I love you! 

步骤6：消费消息测试 

[root@test bin]# ./kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning 
I'm laoyang #之前测试输入的内容 
laoyang I love you! 

经过以上6步，代表kafka安装成功。