Kafka集群搭建

前言：kafka作为一个消息中间件，由linkedin使用scala编写，用作LinkedIn的活动流，和运营数据处理管道的基础，其特点在于具有高水平扩展也就是动态扩容和高吞吐量。

四大重要概念：

Topic

Kafka将消息种子(Feed)分门别类，每一类的消息称之为一个主题(Topic).

Broker

已发布的消息保存在一组服务器中，称之为Kafka集群。集群中的每一个服务器都是一个代理(Broker). 消费者可以订阅一个或多个主题（topic），并从Broker拉数据，从而消费这些已发布的消息。

Producer

发布消息的对象称之为主题生产者(Kafka topic producer)

Consumer

订阅消息并处理发布的消息的种子的对象称之为主题消费者(consumers)

特点：

1. kafka作为一个集群运行在一个或多个服务器上。
2. kafka集群存储的消息是以topic为类别记录的。
3. 每条记录是由一个key，一个value和时间戳构成。
4. 应用程序使用 Producer API 发布消息到1个或多个topic（主题）。
5. 应用程序使用 Consumer API 来订阅一个或多个topic，并处理产生的消息。
6. 应用程序使用 Streams API 充当一个流处理器，从1个或多个topic消费输入流，并生产一个输出流到1个或多个输出topic，有效地将输入流转换到输出流。
7. Connector API允许构建或运行可重复使用的生产者或消费者，将topic连接到现有的应用程序或数据系统。例如，一个关系数据库的连接器可捕获每一个变化。

下面就开始介绍kafka集群的搭建。

一、环境准备

三台虚拟机（master、worker1、worker2）

jdk 1.7.x以上

zookeeper集群（之前搭建过https://blog.csdn.net/yangang1223/article/details/79959712）

kafka有自带的zookeeper，但建议使用自己的zookeeper集群

二、开始搭建

1.编辑config下的server.properties

[hadoop@master config]$ vim server.properties 

broker.id=0

listeners=PLAINTEXT://:9092

host.name=master

port=9092

log.dirs=/app/kafka/kafka_2.10-0.9.0.0/kafka-logs
advertised.host.name=master

保存后退出

2.为了方便启动，你也可以在环境变量中添加kafka的bin目录

[hadoop@master app]$ vim ~/.bash_profile 

export JAVA_HOME=/app/java/jdk1.8.0_141
export HADOOP_HOME=/app/hadoop/hadoop-2.7.3
export SCALA_HOME=/app/scala/scala-2.11.8
export SPARK_HOME=/app/spark/spark-2.1.1
export ZOOKEEPER_HOME=/app/zookeeper/zookeeper-3.4.6
export KAFKA_HOME=/app/kafka/kafka_2.10-0.9.0.0
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$SCALA_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin:$ZOOKEEPER_HOME/bin:$KAFKA_HOME/bin
export PATH

scp命令将其分发到其他两个节点，并source

[hadoop@master app]$ scp ~/.bash_profile hadoop@worker1:~/
.bash_profile                                                                                                                            100%  579     0.6KB/s   00:00    
[hadoop@master app]$ scp ~/.bash_profile hadoop@worker2:~/

.bash_profile       

 3.进入worker1、worker2节点的kafka/config目录下编辑server.properties

    将broker.id依次改为1,2 

    将host.name、advertised.host.name都改为各自机器的ip

三、启动kafka集群 

1. 三台机器启动kafka 

  使用此命令启动[hadoop@master bin]$ kafka-server-start.sh -daemon ../config/server.properties &后发现创建topic时出现错误    

                           

    目前尚不知原因，遂用下面的方式启动。

    [hadoop@master bin]$ kafka-server-start.sh  ../config/server.properties & 

    [hadoop@worker1 bin]$ kafka-server-start.sh  ../config/server.properties &

     [hadoop@worker2 bin]$ kafka-server-start.sh  ../config/server.properties &

    

2.创建topic

 [hadoop@master bin]$ ./kafka-topics.sh --zookeeper master:2181,worker1:2181,worker2:2181 --replication-factor 2 --partitions 1 --create --topic first-topic

3.查看已创建的topic列表

[hadoop@master bin]$ ./kafka-topics.sh --zookeeper master:2181,worker1:2181,worker2:2181 --list

4.模拟producer发消息

[hadoop@master bin]$ kafka-console-producer.sh --broker-list master:9092,worker1:9092,worker2:9092 --topic first-topic

5.模拟consumer接受消息

[hadoop@master bin]$ kafka-console-consumer.sh --zookeeper master:2181,worker1:2181,worker2:2181 --from-beginning --topic first-topic

建议第四步和第五步用xshell打开两个master节点的tab，启动producer后输入消息，启动consumer后可以接收到

6.查看指定的topic

[hadoop@master bin]kafka-topics.sh --describe --zookeeper master:2181,worker1:2181,worker2:2181 --topic first-topic

以上测试成功后，kafka集群就此配置完成。