Spark项目实战-kafka集群安装

一 下载

从官网下载对应版本的kafka，博主下载的是kafka_2.9.2-0.8.1.tgz。

二 安装

1、安装之前我们用WinSCP工具，将刚下载的tgz文件上传到Linux的/usr/local目录下。

2、解压tgz文件。

三 配置kafka

1、进入kafka/config目录，编辑server.properties。

2、配置参数。

# 依次增长的整数，0、1、2，集群中Broker的唯一id
broker.id：0
# zookeeper集群的ip:端口
zookeeper.connect=192.168.1.105:2181,192.168.1.106:2181,192.168.1.107:2181

四 安装slf4j

从官网下载slf4j，解压把slf4j中的slf4j-nop-1.7.6.jar复制到kafka的libs目录下面。

紧接着我们使用scp命令将其安装在sparkproject2和sparkproject3机器上。 

五 启动kafka集群 

1、进入kafka安装目录，通过以下命令启动。

nohup bin/kafka-server-start.sh config/server.properties &

2、启动报错，提示不识别的vm option参数。 

3、直接把这个参数去掉。

（1）vi /usr/local/kafka/bin/kafka-run-class.sh

# 去掉-XX:+UseCompressedOops即可
if [ -z "$KAFKA_JVM_PERFORMANCE_OPTS" ]; then
  KAFKA_JVM_PERFORMANCE_OPTS="-server  -XX:+UseCompressedOops -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -XX:+CMSScavengeBeforeRemark -XX:+DisableExplicitGC -Djava.awt.headless=true"
fi

4、然后重新启动kafka。

5、使用jps检查启动是否成功。