shell脚步向kafka发送消息_消息队列之kafka(集群搭建及shell操作)

1.kafka集群搭建

kafka安装包下载地址：

官网网址：http://kafka.apache.org/quickstart

中文官网：http://kafka.apachecn.org/quickstart.html

在 windows 平台，从官网下载：http://mirrors.hust.edu.cn/apache/kafka/1.1.0/

在 centos 平台：wgethttp://mirrors.hust.edu.cn/apache/kafka/1.1.0/kafka_2.11-1.1.0.tgz

(1)集群部署的基础环境准备：

A： 安装 JDK 1.8

A： 安装 zookeeper 集群(也可以使用自带 ZooKeeper，但是不推荐)

(2)集体搭建：

版本：kafka_2.11-1.1.0

集群规划：hadoop01、hadoop02、hadoop03 (三个节点)

① 解压安装包到对应的目录

tar zxvfkafka_2.11-1.1.0.tgz -C /application/

② 修改配置文件

[hadoop@hadoop01 ~]$ cd /application/kafka_2.11-1.1.0/config/

[hadoop@hadoop01 ~]$ vim server.properties

broker.id=5 ## 当前集群中的每个 broker 节点的一个唯一编号，每个节点都不一样

listeners=PLAINTEXT://:9092

listeners=PLAINTEXT://hadoop01:9092

host.name=hadoop01## 每个节点指定为当前主机名，上面也是

log.dirs=/home/hadoop/data/kafka-logs ## kafkabroke工作节点数据存储目录

num.partitions=1 ## kafka 的 topic 的默认分区数

log.retention.hours=168 ## 日志的最长保存时间

zookeeper.connect=hadoop01:2181,hadoop02:2181,hadoop03:2181 ## zookeeper 地址