SparkStreaming Kafka 集群环境搭建及测试

搭建该环境需要安装zookeeper和Kafka。

安装、配置zookeeper的集群环境

zookeeper我们安装，需要对环境进行一定配置。

下载、安装及配置环境变量

安装zookeeper，我们需要将下载的zookeeper安装包解压到我们想要安装的地方。

下载网站：
https://dlcdn.apache.org/zookeeper/zookeeper-3.7.0/

命令为：

tar -zxvf apache-zookeeper-3.7.0.tar.gz 

解压后，我们需要添加环境变量

首先，我们需要打开配置文件：

vi /etc/profile

在里面添加：

# 需要注意的是添加的目录路径为你自己的安装目录
export ZOOKEEPER_HOME=/opt/modules/zookeeper-3.4.10
export PATH=$PATH:$ZOOKEEPER_HOME/bin

然后使用source命令使配置快速生效

source /etc/profile

集群里的每一台机器都需要这样配置。

修改配置文件。

我们的zookeeper并不是安装好了就完事了，我们还需要对zookeeper的配置文件进行修改，这样才能为我们所用。

配置zoo.cfg

我们打开zookeeper下conf文件下的zoo.cfg文件。

我们需要添加几个配置，并给zookeeper创建数据文件夹和日志文件夹。

首先，我们设置zookeeper的端口为2181。然后配置集群内三台服务器的端口号。

这是配置的具体格式
server.A=B:C:D
A 是一个数字，表示这个是第几号服务器；
B 是这个服务器的主机名（hostname）或IP；
C 表示的是这个服务器与集群中的 Leader 服务器交换信息的端口；
D 表示的是万一集群中的 Leader 服务器挂了，需要一个端口来重新进行选举

clientPort=2181
server.1=centos01:2888:3888
server.2=centos02:2888:3888
server.3=centos03:2888:3888

然后给zookeeper创建数据文件夹和日志文件夹的配置。也是在zoo.cfg下面添加。

dataDir=/opt/modules/zookeeper-3.4.10/data
dataLogDir=/opt/modules/zookeeper-3.4.10/log

我们需要在zookeeper下创建data和log文件夹。

mkdir /opt/modules/zookeeper-3.4.10/data
mkdir /opt/modules/zookeeper-3.4.10/log

然后我们将上述的配置在其他服务器上也进行相关配置。

配置myid

我们需要在zookeeper下面的data文件夹下创建myid文件
然后在第一台服务器里面写1，在第二台服务器里面写2，在第三台服务器里面写3。

这样，我们的zookeeper就配置完毕了

测试zookeeper

启动zookeeper

# 在三台服务器的终端输入下面的命令启动zookeeper。
zkServer.sh start

查看启动状态

# 通过这条命令，我们就可以得知当前服务器的zookeeper运行的情况
zkServer.sh status

一定要在三台服务器都开启服务后再使用status命令，否则会报错。

正确的打开姿势！

没有报错的话，恭喜你，zookeeper就安装成功了！

Kafka的安装与配置

下载与安装及配置环境变量

http://kafka.apache.org/downloads.html

下载到服务器后，我们使用解压命令解压

tar -zxvf kafka_2.10-0.9.0.1.tgz

然后我们需要配置Kafka的环境变量

vi /etc/profile

在里面添加：

# 需要注意的是添加的目录路径为你自己的安装目录
export KAFKA_HOME=/opt/modules/kafka/
PATH=$KAFKA_HOME/bin:$PATH

然后使用source命令使配置快速生效

source /etc/profile

集群里的每一台机器都需要这样配置。

修改配置文件

我们需要打开Kafka下config文件夹下的server.properties文件

# 需要注意的是第一台服务的id为0，第二台为1，第三台为2.
broker.id=0
port=9092
# 这里是主机名或IP:端口号，不要写错了主机名或者IP
zookeeper.connect=centos01:2181,centos02:2181,centos03:2181

测试Kafka

我们需要分别在三台虚拟机上执行

# 这是在kafka的bin目录里面执行的。
# 如果报错没有命令的话，可以在命令前添加./或者查看环境变量是否配置正确。
kafka-server-start.sh ../config/server.properties

服务器出现这样的页面就表示开启成功。
注意，三台服务器打开的这个终端是不能关闭的，每个服务器需要新建一个终端，才能开始测试。

例如我这里是新打开了一个终端进行测试。

创建topic

# 需要注意的是主机名不要写错，写你自己的
kafka-topics.sh --create --zookeeper centos01:2181,centos02:2181,centos03:2181 --replication-factor 3 --partitions 1 --topic HelloKafkaTest

如果报错为：
Replication factor: 3 larger than available brokers: 2.
可能你的一个kafka进程被关掉了一个 需要重新启动

我们可以看到已经创建成功了。

向topic发送数据

然后我们对这条topic发送数据

# 该命令会开启一个输入端，我们可以输入数据进行发送。
kafka-console-producer.sh --broker-list centos01:9092,centos02:9092,centos03:9092 --topic HelloKafkaTest

我们这里输入了一个hello kafka

接收topic的数据

# 使用这条命令会接收该topic的数据
# 并且在另一端发送的时候，这里也会显示发送的数据
kafka-console-consumer.sh --bootstrap-server centos02:9092 --from-beginning --topic HelloKafkaTest

我们可以看到之前发送的hello kafka

然后，我们使用之前的发送端再次发送一次数据。

我们可以看到接收端也同步了数据。

查看所有topic

kafka-topics.sh --list --zookeeper centos01:2181,centos02:2181,centos03:2181

查看指定topic的status

kafka-topics.sh --describe --zookeeper centos01:2181,centos02:2181,centos03:2181 --topic HelloKafka