大数据-玩转数据-Kafka安装

大数据-玩转数据-Kafka安装

一、概念
Kafka是一种高吞吐量的分布式发布订阅消息系统。
Broker：集群中包含一个或多个服务器
Topic：每条发布到Kafka集群的消息都有一个类别，这个类别叫Topic。
Partition：每个Topic包含一个或多个Partition
Producer：负责发送消息到Broker
Consumer：消息消费者
Consumer Group：消息消费者群
二、Kafka下载
注意下载的版本要与Scala版本号一致。
查看本系统安装的Spark-Scala版本

[root@hadoop1 ]# spark-shell

需要下载Kafka版本是2.11开头的版本
官网下载地址： https://kafka.apache.org/downloads
注意下载不是src源码，应该下载正常的压缩包
如果版本允许，也可以用命令wget 下载，比如

wget http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.4.0/kafka_2.13-2.4.0.tgz

kafka的安装需要依赖Zookeeper，kafka程序里自带Zookeeper，可以直接使用其自带的Zookeeper建立集群，也可以单独使用Zookeeper安装文件建立集群。
我们前面已经安装了Zookeeper集群，为统一管理，应用单独安装的Zookeeper集群。
三、解压改名

[r