kafka安装的准备工作:
1.三台虚拟机
HadoopMaster:192.168.43.19(主节点)
HadoopSlave01:192.168.43.25(子节点)
HadoopSlave02:192.168.43.26(分节点)
2.启动zookeeper集群(kafka安装要在安装zookeeper前提下进行)
3.jdk安装
一、kafka是什么?
Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。
二、kafka安装步骤
1.导入kafka安装包
kafka_2.11-2.3.1.tgz(可在kafka官网中下载)
可通过Winscp把kafka数据压缩包传入到虚拟机中,可先在虚拟机中建立文件夹。
三台虚拟机要先建立免密登录,方便传输文件,此处不是必须建立。
2.虚拟机中安装步骤
1.解压压缩包(在HadoopMaster节点操作)
cd software;
tar -zvxf kafka_2.11-2.3.1.tgz
mv kafka_2.11-2.3.1 kafka
部分代码解析
software:刚刚传入kafka压缩包的文件
tar -zvxf 文件名:此处为文件解压命令
mv 原本的文件名 新的文件名
2.建立目录
cd kafka
mkdir kafka-logs
kafa:进入kafka目录中(在HadoopMaster节点操作)
mkdir:建立新目录的命令(此处建立了一个kafka-logs目录用来存放kafka消息)
3.配置server.properties 文件(在HadoopMa