搭建 Kafka 环境
搭建 Kafka 0.11.0.0 环境
我使用了4台虚拟机来搭建相对应的节点,具体情况如下:
master | slave1 | slave2 | slave3 | |
---|---|---|---|---|
NameNode | √ | |||
SecondaryNameNode | √ | |||
DataNode | √ | √ | √ | |
ResourceManage | √ | |||
NodeManage | √ | √ | √ | |
Flume | √ | √ | √ | √ |
ZooKeeper | √ | √ | √ | |
Kafka | √ | √ | √ |
软件版本:
- Hadoop 2.7.2
- Flume 1.7.0
- ZooKeeper 3.4.12
- Kafka 2.11-0.11.0.0
另注:我的所有软件都安装在 /usr/wang/ 目录下。
安装
1.解压
tar -zxvf kafka_2.11-0.11.0.0.tgz
2.建立软链
ln -s kafka_2.11-0.11.0.0 kafka
3.配置环境变量
sudo vim /etc/profile
# KAFKA ENVIROMENT
export KAFKA_HOME=/usr/wang/kafka
export PATH=$KAFKA_HOME/bin:$PATH
source /etc/profile
Kafka 配置
1.在 /usr/wang/kafka 下创建 logs 文件夹存放 日志信息
cd /usr/wang/kafka
mkdir logs
2.配置 server.properties 文件
cd /usr/wang/kafka/config
vim server.properties
#broker的全局唯一编号,不能重复
broker.id=0
#删除topic功能使能
delete.topic.enable=true
#kafka运行日志存放的路径
log.dirs=/usr/wang/logs
#配置连接Zookeeper集群地址
zookeeper.connect=slave1:2181,slave2:2181,slave3:2181
集群操作
1.分发 Kafka 到其他节点
cd /usr/wang
rsync -rvl kafka spark@slave1:/usr/wang/
rsync -rvl kafka spark@slave2:/usr/wang/
2.编辑 server.properties 文件中的 broker.id
-
slave1 节点上
broker.id=1
-
slave2 节点上
broker.id=2
简单命令
1.启动命令
cd /usr/wang/kafka
bin/kafka-server-start.sh config/server.properties &
其中 & 表示 Kafka 运行在后台,若启动时没有加 &,可以 ctrl + z 然后输入 bg 即可转入后台。