安装文档
1. 预先安装zookeeper
如果已经存在一个zookeeper集群,直接使用即可,不存在,需要安装。
2. 安装kafka
2.1. 上传
用工具将kafka安装文件kafka_2.8.0-0.8.0.tar.gz上传到/home/hadoop/下
2.2. 解压
su – hadoop
tar -zxvf kafka_2.8.0-0.8.0.tar.gz
2.3. 重命名
mv tar -zxvf kafka_2.8.0-0.8.0 kafka
2.4. 修改环境变量(3台机器都需要配置)
su – root
vi /etc/profile
添加内容:
export KAFKA_HOME=/home/hadoop/kafka export PATH=$PATH:$KAFKA_HOME/bin |
source /etc/profile
su - hadoop
2.5. 修改配置文件
su – hadoop
cd /home/hadoop/kafka/config
vi server.properties
修改的内容说明:
zookeeper.connect=slave1:2181, slave2:2181, slave3:2181(zookeeper地址) broker.id=1(其他两个机器是2,3,4) host.name= master(其他机器是slave1,slave2,slave3) log.dirs=/home/hadoop/kafka/kafka-logs(文件夹权限为755) |
2.6. 创建文件夹
cd /home/hadoop/kafka
mkdir kafka-logs
chmod 755 kafka-logs
2.7. 下发到其他机器
scp -r /home/hadoop/kafka hadoop@slave1:/home/hadoop
scp -r /home/hadoop/kafka hadoop@slave2:/home/hadoop
scp -r /home/hadoop/kafka hadoop@slave3:/home/hadoop
2.8. 修改其他机器的配置文件
主要修改以下几点:
broker.id=1(其他两个机器是2,3,4)
host.name= master(其他机器是slave1,slave2,slave3)
broker.id修改为自己的,为2或者3什么的。
host.name修改为自己的hostname
2.9. 启动(每台机器)
启动之前确保zookeeper已经启动。
在4台机器上都启动
kafka-server-start.sh/home/hadoop/kafka/config/server.properties &
2.10. 验证
jps:
创建消息:
kafka-create-topic.sh --zookeeper slave1:2181--partition 3 --topic wangsf-test
查看消息:
kafka-list-topic.sh --zookeeper slave1:2181
说明:
{
topic:主题
partiton: partion id
leader:当前负责读写的lead broker id
relicas:当前partition的所有备份数
isr:relicas的子集,只包含出于活动状态的broker
}
2.11. 停止
kafka-server-stop.sh