引用:https://blog.csdn.net/dongyuxu342719/article/details/90146471
一、安装环境要求
1、安装java
Kafka和zoopeeper都需要安装java环境,且推荐至少java7及以上版本’
2、安装zookeeper
Zookeeper是kafka集群的必要组件,kafka安装包已经集成了zookeeper,这里选择单独安装zookeeper
3、安装kafka
Kafka版本包括使用的scala语言版本和kafka版本,不同版本功能区别还是很大的,有些版本重写了produce和consumer,目前比较稳定的就是kafka1.0.0。
二、安装
1、java
这里选择安装1.8版本的java,从官网下载安装,步骤比较简单,linux机器也可以通过wget命令获取安装包
wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/8u162-b12/0da788060d494f5095bf8624735fa2f1/jdk-8u162-linux-x64.rpm
no-check-certificate参数用于禁止检查证书
no-cookies用于禁用cookie
header用于设置请求头信息
wget方式会非常慢,建议还是官网注册账号下载比较快。
在/usr目录下新建java目录,将上传的tar包解压缩到该目录。
设置环境变量:
vim /etc/profile
使环境变量生效:
source /etc/profile
检查java是否安装成功:
java -version
2、zookeeper
官网下载zookeeper:http://mirror.bit.edu.cn/apache/zookeeper/,上传到虚拟机解压缩。
创建 /home/user/zk用于存储zookeeper数据:
mkdir -p /home/user/zk
然后编辑conf/zoo.cfg,即复制zoo_sample.cfg修改
然后启动zk:
./bin/zkServer.sh start
通过telnet命令连接2181端口,用srvr命令查看zk的服务器状态信息。
3、kafka
从官网下载kafka安装包:http://kafka.apache.org/downloads,这里选择1.0.0.1版本的安装包
解压缩包,并创建kafka数据保存目录:
mkdir -p /home/work/kafka/data-logs
然后打开config目录下的server.properties文件,修改日志目录为刚刚创建的目录:
然后启动kafka:
./bin/kafka-server-start.sh config/server.properties
如果要后台启动使用如下命令:
./bin/kafka-server-start.sh -daemon config/server.properties
4、验证kafka
1)创建topic,创建名为test的topic,分区数1,副本1
./bin/kafka-topics.sh --create --zookeeper localhost:2181 --topic test --partitions 1 --replication-factor 1
2)查看topic的状态
./bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test
3)发送消息
./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
4)消费消息
./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
参数from-beginning表示从第一条消息开始读取
5、多节点环境安装
多节点kafka集群是由一套多节点zk集群和多节点kafka集群组成。一般zk需要部署奇数台,基于zk的选举策略,偶数台服务器会浪费一台。常见的是5台,这里为了测试部署3台