kafka环境搭建

引用：https://blog.csdn.net/dongyuxu342719/article/details/90146471

一、安装环境要求

1、安装java

Kafka和zoopeeper都需要安装java环境，且推荐至少java7及以上版本’

2、安装zookeeper

Zookeeper是kafka集群的必要组件，kafka安装包已经集成了zookeeper，这里选择单独安装zookeeper

3、安装kafka

Kafka版本包括使用的scala语言版本和kafka版本，不同版本功能区别还是很大的，有些版本重写了produce和consumer，目前比较稳定的就是kafka1.0.0。

二、安装

1、java

这里选择安装1.8版本的java，从官网下载安装，步骤比较简单，linux机器也可以通过wget命令获取安装包

wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/8u162-b12/0da788060d494f5095bf8624735fa2f1/jdk-8u162-linux-x64.rpm

no-check-certificate参数用于禁止检查证书

no-cookies用于禁用cookie

header用于设置请求头信息

wget方式会非常慢，建议还是官网注册账号下载比较快。

在/usr目录下新建java目录，将上传的tar包解压缩到该目录。

设置环境变量：

vim /etc/profile

使环境变量生效：

source /etc/profile

检查java是否安装成功：

java -version

2、zookeeper

官网下载zookeeper：http://mirror.bit.edu.cn/apache/zookeeper/，上传到虚拟机解压缩。

创建 /home/user/zk用于存储zookeeper数据：

mkdir -p /home/user/zk

然后编辑conf/zoo.cfg，即复制zoo_sample.cfg修改

然后启动zk：

./bin/zkServer.sh start

通过telnet命令连接2181端口，用srvr命令查看zk的服务器状态信息。

3、kafka

从官网下载kafka安装包：http://kafka.apache.org/downloads，这里选择1.0.0.1版本的安装包

解压缩包，并创建kafka数据保存目录：

mkdir -p /home/work/kafka/data-logs

然后打开config目录下的server.properties文件，修改日志目录为刚刚创建的目录:

然后启动kafka：

./bin/kafka-server-start.sh config/server.properties

如果要后台启动使用如下命令：

./bin/kafka-server-start.sh -daemon config/server.properties

4、验证kafka

1）创建topic，创建名为test的topic，分区数1，副本1

./bin/kafka-topics.sh --create --zookeeper localhost:2181 --topic test --partitions 1 --replication-factor 1

2）查看topic的状态

./bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test

3）发送消息

./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

4）消费消息

./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

参数from-beginning表示从第一条消息开始读取

5、多节点环境安装

多节点kafka集群是由一套多节点zk集群和多节点kafka集群组成。一般zk需要部署奇数台，基于zk的选举策略，偶数台服务器会浪费一台。常见的是5台，这里为了测试部署3台