【Hadoop大数据平台组件搭建系列（四）】——Kafka组件配置

简介

本篇介绍Hadoop大数据平台组件中Kafka组件的搭建（需提前配置好Zookeeper集群）

• 使用软件版本信息
  kafka_2.11-1.0.0.tgz（百度云提取码：1usv）

Kafka安装与配置

解压并配置环境变量

解压kafka压缩包

 tar -zxvf /opt/software/kafka_2.11-1.0.0.tgz -C /usr/local/scr/

修改环境变量

 vi /etc/profile

添加环境变量

 #.....kafka.....
export KAFKA_HOME=/usr/local/scr/kafka
export PATH=$PATH:$KAFKA_HOME/bin

使环境变量生效

source /etc/profile

进入{KAFKA_HOME}/config目录下修改配置文件 server.properties

在server.properties 配置文件中注释下面内容

#broker.id=0
#zookeeper.connect=localhost:2181

在文件最后添加以下内容，broker.id 每个节点需不同，listeners中IP地址与节点IP地址相对应

broker.id=1
zookeeper.connect=192.168.200.1:2181,192.168.200.2:2181,192.168.200.3:2181
listeners=PLAINTEXT://192.168.200.1:9092

拷贝分发

拷贝分发时记得修改其他节点的 server.properties 配置内容与之对应

scp -r /usr/local/scr/kafka/ master2:/usr/local/scr/

验证安装是否成功

启动Zookeeper，集群都要启动

zkServer.sh start

启动Kafka，集群都要启动

kafka-server-start.sh -daemon /usr/local/scr/kafka/config/server.properties 

使用 jps 命令查看kafka进程是否启动成功

创建topic

kafka-topics.sh --create --zookeeper 192.168.200.1:2181 --replication-factor 1 --partitions 1 --topic test

查看topic，再其他节点上也可以查看其他节点上创建的topic信息

kafka-topics.sh --list --zookeeper 192.168.200.1:2181

创建发布 (退出 Ctrl+C)

kafka-console-producer.sh --broker-list 192.168.200.1:9092 --topic test

创建消费

kafka-console-consumer.sh --bootstrap-server 192.168.200.1:9092 --topic test --from-beginning

最后，记得点赞哦！！！ღ( ´･ᴗ･` )比心！！！

系列文章：

Hadoop HA高可用+Zookeeper搭建 一站式解決方案！！！
【Hadoop大数据平台组件搭建系列】——Hadoop完全分布式搭建（基于CentOS7.4） 一站式解决！！！
【Hadoop大数据平台组件搭建系列（一）】——Zookeeper组件配置
【Hadoop大数据平台组件搭建系列（二）】——Sqoop组件配置
【Hadoop大数据平台组件搭建系列（三）】——Hive组件配置
【Hadoop大数据平台组件搭建系列（四）】——Kafka组件配置
【Hadoop大数据平台组件搭建系列（五）】——MySQL组件配置（tar源码安装）
【Hadoop大数据平台组件搭建系列（六）】——Spark完全分布式组件配置
【Hadoop大数据平台组件搭建系列（七）】——HBase完全分布式组件配置