5.配置kafka环境

前提配置：

配置kafka需要先安装scala环境

1.安装scala

对scala-2.11.4.tgz进行解压缩：tar-zxvf scala-2.11.4.tgz

对scala目录进行重命名：mvscala-2.11.4 scala

配置scala相关的环境变量

vi .bashrc

export SCALA_HOME=/usr/local/scala

export PATH=$SCALA_HOME/bin

source .bashrc

查看scala是否安装成功：scala -version

按照上述步骤在spark2和spark3机器上都安装好scala。使用scp将scala和.bashrc拷贝到spark2和spark3上即可

2.安装kafka

对kafka_2.9.2-0.8.1.tgz进行解压缩：tar-zxvf kafka_2.9.2-0.8.1.tgz

对kafka目录进行改名：mvkafka_2.9.2-0.8.1 kafka

配置kafka

vi/usr/local/kafka/config/server.properties

broker.id：依次增长的整数，0、1、2、3、4，集群中Broker的唯一id

zookeeper.connect=192.168.1.191:2181,192.168.1.192:2181,192.168.1.193:2181

3.安装slf4j

unzip slf4j-1.7.6.zip

把slf4j中的slf4j-nop-1.7.6.jar复制到kafka的libs目录下面

4.搭建kafka集群

1、按照上述步骤在spark2和spark3分别安装kafka。用scp把kafka拷贝到spark2和spark3行即可。

2、唯一区别的，就是server.properties中的broker.id，要设置为1和2

5.启动kafka集群

在三台机器上分别kafka安装目录执行以下命令：nohup bin/kafka-server-start.sh config/server.properties &

解决kafka Unrecognized VM option'UseCompressedOops'问题

vi bin/kafka-run-class.sh

if [ -z"$KAFKA_JVM_PERFORMANCE_OPTS" ]; then

 KAFKA_JVM_PERFORMANCE_OPTS="-server -XX:+UseCompressedOops-XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled-XX:+CMSScavengeBeforeRemark -XX:+DisableExplicitGC-Djava.awt.headless=true"

fi

去掉-XX:+UseCompressedOops即可

.检测是否安装成功

[root@spark1 kafka]# jps
7245 Jps
6874 QuorumPeerMain
5915 SecondaryNameNode
5772 DataNode
6091 ResourceManager
6186 NodeManager
5654 NameNode
7206 Kafka

[root@spark2 kafka]# jps
2234 Jps
1834 DataNode
1935 NodeManager
2197 Kafka
2123 QuorumPeerMain

[root@spark3 kafka]# jps
1803 DataNode
2191 Jps
1904 NodeManager
2154 Kafka
2077 QuorumPeerMain

检测集群是否成功

1.[root@spark1 kafka]# bin/kafka-topics.sh --zookeeper 192.168.1.191:2181,192.168.1.192:2181,192.168.1.193:2181 --topic TestTopic --replication-factor 1 --partitions 1 --create
Created topic "TestTopic".

2.[root@spark1 kafka]# bin/kafka-console-producer.sh --broker-list 192.168.1.191:9092,192.168.1.192:9092,192.168.1.193:9092 --topic TestTopic

(生产者，这里会阻塞)

另外开启一个ssh终端

3.[root@spark1 kafka]# bin/kafka-console-consumer.sh --zookeeper 192.168.1.191:2181,192.168.1.192:2181,192.168.1.193:2181 --topic TestTopic --from-beginning

(消费者，这里会阻塞)

4.在第二部阻塞的终端，输入 hello，在第三部阻塞的终端会受到hello消息