之前有kafka单机部署,这里说一说集群部署,其实很简单。我这里有三台虚拟机,都要进行安装和配置。
- kafka下载地址为http://kafka.apache.org/downloads。在这里选择你想要的版本,我选择的版本是kafka_2.12-2.3.0
- 下载之后解压到你的安装目录,这里kafka_2.12-2.3.0.tgz为安装包,/opt/module/为安装路径
[root@host-10-75-169-14 kafka]# tar -zxvf kafka_2.12-2.3.0.tgz -C /opt/module/ - 修改config/server.properties,其中delete.topic.enable需要自己添加。三台虚拟机中broker.id不能相同,我这里分别是1,2,3。其它配置都一样。三台机器主机名分别为walter101,walter102,walter103。要注意修改/etc/hosts,不然会无法识别主机名。2181则是zookeeper开放的端口。
[root@walter101 kafka_2.12-2.3.0]# vi config/server.properties
#The id of the broker. This must be set to a unique integer for each broker.
broker.id=1
#switch to enable topic deletion or not, default value is false if not configured.
delete.topic.enable=true
#A comma separated list of directories under which to store log files
log.dirs=/opt/module/kafka_2.12-2.3.0/logs
zookeeper.connect=walter101:2181,walter102:2181,walter103:2181 - 分别在三台服务器上启动zookeeper之后,再来启动kafka。当然也可以用kafka自带的zookeeper来启动,这个以后再说。
[root@walter101 kafka_2.12-2.3.0]# nohup ./bin/kafka-server-start.sh config/server.properties &
这样会在你运行命令的目录下产生文件nohup.out以及zookeeper.out
nohup.out就记录着启动kafka的输出。
如果出现如此内容,并且光标停在下面一行,敲下回车就好了
[root@walter101 kafka_2.12-2.3.0]# nohup: ignoring input and appending output to ‘nohup.out’