用阿里云服务器,kafka搭建Linux集群

本文的预览效果可能不好,要是为知笔记还没有倒闭的话,
请移步查看此地址:
kafka搭建Linux集群

1.环境配置
购买阿里云服务器,配置单核,2G内存,20G存储,三台服务器,需要在同一个区域内,以便于内网通信,折合价格180元左右.购买后需要重置密码,并全部重启.
内网地址和主机名称:
172.26.137.30 master
172.16.31.192 slave1
172.26.137.31 slave2

1.配置当前的ip以及主机名.
使用Xshell 进行连接远端的Linux服务器.
使用如下命令进行主机名称的修改,一台选择为master,另外两台为salve1.和slave2.
hostnamectl set-hostname master
修改本机的host文件
效果如下:

2.下载jdk和kafka,并解压.
下载JDK(1.8 以上)和kafka(我用的是kafka_2.12-2.6.0.tgz).
我的解压地址:
/usr/program/jdk1.8.0_162
/usr/program/kafka_2.12-2.6.0
3.配置 环境变量.
配置jdk和kafka的环境变量,追加不要覆盖
使用命令:
vi /etc/profile
我的修改内容:

2.应用配置配置修改
1.修改server.properties

2.修改zookeeper.properties

3.检查配置是否成功
1.检查jdk

2.检查kafka

3.检查网络(ping).
三台服务器上分别ping 另外两台的主机名:master,slave1,slave2
4.启动应用
4.1 启动zookeeper
启动zookeeper
zookeeper-server-start.sh -daemon config/zookeeper.properties
这样设置为后台进程,也可以去掉-daemon,以便于检查是否有报错
启动完成后,使用jps 命令,检查是否有zookeeper的进程在运行.

4.2 启动kafka
kafka-server-start.sh -daemon config/server.properties
这样设置为后台进程,也可以去掉-daemon,以便于检查是否有报错
启动完成后,使用jps 命令,检查是否有kafka的进程在运行.

4.3 创建话题
我的命令:
kafka-topics.sh --zookeeper master:2181,slave1:2181,salve2:2181 --create --topic test–partitions 3 --replication-factor 3

也可以用这个:
kafka-topics.sh --bootstrap-server master:9092, slave1:9092, slave2:9092 --create --topic test --replication-factor 3 --partitions 3

4.4 创建生产者
命令:
kafka-console-producer.sh --broker-list master:9092, slave1:9092, slave2:9092 --topic test

4.5 创建消费者
命令:
kafka-console-consumer.sh --bootstrap-server master:9092,slave1:9092,slave2:9092 --topic test

4.6 传输消息
生产者发送消息:

消费者接收消息

4.7 依次关闭
关闭时候,需要先关闭kafka,再关闭zookeeper.
分别执行命令:

zookeeper-server-stop.sh
kafka-server-stop.sh
这是我一个新手的配置,过程.

(参考文章:Linux下kafka集群搭建过程记录)