1、Kafka 初体验
单机 Kafka 试玩
官网网址:http://kafka.apache.org/quickstart
中文官网:http://kafka.apachecn.org/quickstart.html
2、集群部署的基本流程总结
1、下载安装包
2、解压安装包到对应的目录
3、修改配置文件
4、分发安装包
5、启动集群,进行验证
3、集群部署的基础环境准备
1、安装 JDK 1.8
2、安装 zookeeper 集群(也可以使用自带 ZooKeeper)
4、Kafka 集群详细安装
1、下载安装包
在 windows 平台,从官网下载:http://mirrors.hust.edu.cn/apache/kafka/1.1.0/
在 centos 平台:wget http://mirrors.hust.edu.cn/apache/kafka/1.1.0/kafka_2.11-1.1.0.tgz
2、解压安装包到对应的目录
[hadoop@hadoop05 ~]$ tar -zxvf kafka_2.11-1.1.0.tgz -C apps/
3、修改配置文件
[hadoop@hadoop05 ~]$ cd /home/hadoop/apps/kafka_2.11-1.1.0/config
[hadoop@hadoop05 config]$ vi server.properties
修改以下内容:
broker.id=5 ## 当前集群中的每个 broker 节点的一个唯一编号,每个节点都不一样
listeners=PLAINTEXT://:9092
advertised.listeners=PLAINTEXT://hadoop05:9092
host.name=hadoop05 ## 每个节点指定为当前主机名,上面也是
log.dirs=/home/hadoop/data/kafka-logs ## kafka 的 broker 工作节点数据存储目录
num.partitions=1 ## kafka 的 topic 的默认分区数
log.retention.hours=168 ## 日志的最长保存时间
zookeeper.connect=hadoop02:2181,hadoop03:2181,hadoop04:2181 ## zookeeper 地址
4、分发安装包
[hadoop@hadoop05 apps]$ scp -r kafka_2.11-1.1.0/ hadoop02:
P
W
D
[
h
a
d
o
o
p
@
h
a
d
o
o
p
05
a
p
p
s
]
PWD [hadoop@hadoop05 apps]
PWD[hadoop@hadoop05apps] scp -r kafka_2.11-1.1.0/ hadoop03:
P
W
D
[
h
a
d
o
o
p
@
h
a
d
o
o
p
05
a
p
p
s
]
PWD [hadoop@hadoop05 apps]
PWD[hadoop@hadoop05apps] scp -r kafka_2.11-1.1.0/ hadoop04:
P
W
D
千
万
注
意
:
要
修
改
PWD 千万注意:要修改
PWD千万注意:要修改KAFKA_HOME/config/server.properties 文件中的对应 broker 节点的信息
主要是以下三个:
broker.id=your broker id
host.name=your broker hostname
advertised.listeners=PLAINTEXT:// your broker hostname:9092
5、配置环境变量
vim ~/.bashrc
增加以下内容:
export KAFKA_HOME=/home/hadoop/apps/kafka_2.11-1.1.0
export PATH=
P
A
T
H
:
PATH:
PATH:KAFKA_HOME/bin
保存退出
然后执行命令时生效:source ~/.bashrc
6、启动集群,进行验证
启动命令:
nohup kafka-server-start.sh
/home/hadoop/apps/kafka_2.11-1.1.0/config/server.properties
1>~/logs/kafka_std.log
2>~/logs/kafka_err.log &
千万注意:先启动 zookeeper 集群