centos7 安装单broker的kafka

最新推荐文章于 2024-05-01 12:41:44 发布

starkpan

最新推荐文章于 2024-05-01 12:41:44 发布

阅读量203

点赞数

分类专栏： kafka zookeeper 文章标签： kafka

本文链接：https://blog.csdn.net/starkpan/article/details/82808265

版权

3 篇文章 0 订阅

订阅专栏

3 篇文章 0 订阅

订阅专栏

搭建大数据平台需要安装kafka作为消息中间件，安装kafka需先安装zookeeper。

#####安装zookeeper########

1、安装zookeeper(这是下载的博客时间最新版)

wget http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.4.13/zookeeper-3.4.13.tar.gz

2、解压到安装路径

tar -zxvf zookeeper-3.4.13.tar.gz -C ~/app/

3、配置环境变量

vi ~/.bash_profile

配置变量

export ZK_HOME=/home/hadoop/app/zookeeper-3.4.13

export PATH=$ZK_HOME/bin:$PATH

保存退出esc :wq

刷新配置文件 source ~/.bash_profile

4、修改配置文件

cd /home/hadoop/app/zookeeper-3.4.13/conf

cp zoo_sample.cfg  zoo.cfg

vi zoo.cfg

将路径更改：dataDir=/home/hadoop/tmp/zk（路径自己选择，原配置在tmp目录下，linux会自动删除。）

保存退出 esc :wq

5、启动zookeeper

进入zookeeper中bin目录

启动服务端./zkServer.sh start

启动客户端./zkCli.sh

########安装kafka##############

1、下载最新版本kafka

kafka_2.12-2.0.0

2、解压到安装目录

tar -zxvf kafka_2.12-2.0.0.tgz -C ~/app/

3、配置环境变量

export KAFKA_HOME=/home/hadoop/app/kafka_2.12-2.0.0

export PATH=$KAFKA_HOME/bin:$PATH

4、修改配置文件

进入配置文件目录/home/hadoop/app/kafka_2.12-2.0.0/config

vi server.properties

log.dirs=/home/hadoop/tmp/logger/kafka(目录自己配置即可)

配置zookeeper地址（hadoop001为机器名）

zookeeper.connect=hadoop001:2181

5、启动kafka

kafka-server-start.sh $KAFKA_HOME/config/server.properties

这样kafka就安装好了，其他操作可参考官网

http://kafka.apache.org/quickstart

二、常用命令

2.1、创建一个topic

kafka-topics.sh --create --zookeeper hadoop001:2181 --replication-factor 1 --partitions 1 --topic test

2.2、查看当前topics

kafka-topics.sh --list --zookeeper hadoop001:2181

2.3、发送信息（生产者），发送信息hello world

kafka-console-producer.sh --broker-list hadoop001:9092 --topic test

2.4、建立一个消费者（消费者），接收到信息hello world

kafka-console-consumer.sh --bootstrap-server hadoop001:9092 --topic test --from-beginning

关注