kafka的安装

weixin_43283748

于 2018-09-26 11:33:20 发布

阅读量79

点赞数

分类专栏：大数据集群组件安装文章标签： kafka的安装

本文链接：https://blog.csdn.net/weixin_43283748/article/details/82850998

版权

大数据集群组件安装专栏收录该内容

6 篇文章 0 订阅

订阅专栏

Kafka的安装步骤
1、安装JDK 1.8
2、安装zookeeper
3、解压安装包
a) tar -zxvf kafka_2.11-1.1.0.tgz
4、修改配置文件
a) cd $KAFKA_HOME/config
b) vi server.properties
c) 修改以下内容：
broker.id=1 ## 当前集群中的每个 broker 节点的一个唯一编号，每个节点都不一样
listeners=PLAINTEXT://:9092
advertised.listeners=PLAINTEXT://hadoop01:9092
host.name=hadoop01 ## 每个节点指定为当前主机名，上面也是
在这里插入图片描述

log.dirs=/home/hadoop/data/kafka-logs

kafka 的 broker 工作节点数据存储目录

num.partitions=1 ## kafka 的 topic 的默认分区数
在这里插入图片描述
log.retention.hours=168 ## 日志的最长保存时间

zookeeper.connect=hadoop01:2181,hadoop02:2181,hadoop03:2181 ## zookeeper 地址

在这里插入图片描述

5、分发安装包
scp -r kafka_2.11-1.1.0/ hadoop02: $PWD scp -r kafka_2.11-1.1.0/ hadoop03:$ PWD
千万注意：要修改$KAFKA_HOME/config/server.properties 文件中的对应 broker 节点的信息主要是以下三个：
broker.id=your broker id
host.name=your broker hostname
advertised.listeners=PLAINTEXT:// your broker hostname:9092

6、配置环境变量
Vim ~/.bashrc
export KAFKA_HOME=/home/hadoop/kafka/kafka_2.11-1.1.0
export PATH= $P A T H :$ KAFKA_HOME/bin
保存退出
然后执行命令： source ~/.bashrc
7、启动集群验证：
在/home/hadoop创建
Mkdir logs
nohup kafka-server-start.sh \
/home/hadoop/kafka/kafka_2.111.1.0/config/server.properties \
1>~/logs/kafka_std.log \
2>~/logs/kafka_err.log &