@羲凡——只为了更好的活着
Kafka 安装完整版
Kafka 是做流计算的好基友。kafka的安装都基本一个样,如果安装kafka是为了用spark streaming,建议安装kafka_2.11-0.10.2.2 版本。下面在deptest4,deptest5,deptest6三台机器上配置kafka集群,版本本文随便选择一个版本(kafka1.1.1)。
0.默认你已经安装了JDK和scala
1.下载Kafka安装包
下载地址:http://archive.apache.org/dist/kafka/1.1.1/kafka_2.11-1.1.1.tgz
因为我用的scala2.11.12版本,所以下载的是 kafka_2.11-1.1.1.tgz,要看清自己的版本哦
2.解压并配置/etc/profile
a.解压到当前文件夹
tar -zxf software/kafka_2.11-1.1.1.tgz -C ./
b.进入 /etc/profile 目录再最下面添加如下内容,保存退出后 执行 source /etc/profile
#kafka
export KAFKA_HOME=/usr/local/package/kafka_2.11-1.1.1
export PATH=$PATH:$KAFKA_HOME/bin
3.修改配置文件
配置文件所在目录 ${KAFKA_HOME}/config/server.properties
// 每台机器都不同,假如三台机器,可以分别是0,1,2
broker.id=0
// 能删除topic
delete.topic.enable=true
// socket server 监听的端口,不同机器修改成不同的hostname或者ip
listeners=PLAINTEXT://deptest4:9092
// kafka 数据本地持久化目录,如果多个目录(挂载硬盘)可以用逗号分隔
log.dirs=/usr/local/package/kafka_2.11-1.1.1/kafka-logs
// zookeeper 配置
zookeeper.connect=deptest1:2181,deptest2:2181,deptest3:2181
4.分发文件并启动
a.分发
将kafka文件全部分发到deptest5和deptest6上并修改 broker.id 和 listeners,然后在 /etc/profile 中添加 KAFKA_HOME
scp -r kafka_2.11-1.1.1/ hadoop@deptest5:/usr/local/package/
scp -r kafka_2.11-1.1.1/ hadoop@deptest6:/usr/local/package/
b.启动(三台机器都启动)
kafka-server-start.sh -daemon config/server.properties
用 jps 命令查看存在名为 Kafka 的守护进程,表示你已经安装成功了。
5.kafka测试
a.创建一个topic
kafka-topics.sh --create --zookeeper deptest1:2181,deptest2:2181,deptest3:2181 --replication-factor 3 --partitions 3 --topic aarontest
b.查看topic信息
kafka-topics.sh --topic aarontest --zookeeper deptest1:2181,deptest2:2181,deptest3:2181 --describe
出现如下信息
Topic:aarontest PartitionCount:3 ReplicationFactor:3 Configs:
Topic: aarontest Partition: 0 Leader: 2 Replicas: 2,0,1 Isr: 2,0,1
Topic: aarontest Partition: 1 Leader: 0 Replicas: 0,1,2 Isr: 0,1,2
Topic: aarontest Partition: 2 Leader: 1 Replicas: 1,2,0 Isr: 1,2,0
c.创建一个生产者和一个消费者
kafka-console-producer.sh --topic aarontest --broker-list deptest4:9092,deptest5:9092,deptest6:9092
kafka-console-consumer.sh --topic aarontest --zookeeper deptest1:2181,deptest2:2181,deptest3:2181
d.测试
在生产者里随便输入一个字符串,查看消费者如果接收到,这表示成功了,截图如下
恭喜您完成Kafka集群的安装
若对博客中有任何问题,欢迎留言交流
恭喜您已经完成Kafka 的安装
恭喜您已经完成Kafka 的安装
恭喜您已经完成Kafka 的安装
@羲凡——只为了更好的活着