大数据-玩转数据-Kafka安装
一、概念
Kafka是一种高吞吐量的分布式发布订阅消息系统。
Broker:集群中包含一个或多个服务器
Topic:每条发布到Kafka集群的消息都有一个类别,这个类别叫Topic。
Partition:每个Topic包含一个或多个Partition
Producer:负责发送消息到Broker
Consumer:消息消费者
Consumer Group:消息消费者群
二、Kafka下载
注意下载的版本要与Scala版本号一致。
查看本系统安装的Spark-Scala版本
[root@hadoop1 ]# spark-shell
需要下载Kafka版本是2.11开头的版本
官网下载地址: https://kafka.apache.org/downloads
注意下载不是src源码,应该下载正常的压缩包
如果版本允许,也可以用命令wget 下载,比如
wget http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.4.0/kafka_2.13-2.4.0.tgz
kafka的安装需要依赖Zookeeper,kafka程序里自带Zookeeper,可以直接使用其自带的Zookeeper建立集群,也可以单独使用Zookeeper安装文件建立集群。
我们前面已经安装了Zookeeper集群,为统一管理,应用单独安装的Zookeeper集群。
三、解压改名
[r