02-10版本kafka安装部署

最新推荐文章于 2023-01-20 15:45:20 发布

Master的救赎

最新推荐文章于 2023-01-20 15:45:20 发布

阅读量282

点赞数

分类专栏： kettle 文章标签： hadoop kafka 单节点

本文链接：https://blog.csdn.net/Master_MC/article/details/77334820

版权

1 篇文章 0 订阅

订阅专栏

 
 安装 
 zookeeper 

 
 安装版本： 
 3.4.10 

 
 安装步骤： 

 
 1、直接解压： 

 
 tar –zvxf zookeeper-3.4.10.tar.gz 

 
 2、解压完成后，重命名（方便使用）： 

 
 mv zookeeper-3.4.10 zookeeper/ 

 
 3、更改环境变量： 

 
 vi /etc/profile  (添加以下信息) 

 
 export ZK_HOME=/usr/local/zookeeper 

 
 export PATH=$ZK_HOME/bin:$PATH 

 
 source /etc/profile 

 
 4、在目录下添加以下文件夹： 

 
 cd /usr/local/zookeeper 

 
  mkdir data 

 
  mkdir log 

 
 5、在data目录下创建文件，命名为myid并写入1： 

 
 vi /usr/local/zookeeper/data/myid 

 
 写入1后保存退出 

 
 6、更改配置信息： 

 
 cd /usr/local/zookeeper/conf 

 
 将文件中的zoo_sample.cfg进行拷贝并重命名： 

 
 cp zoo_sample.cfg zoo.cfg 

 
 修改zoo.cfg中的配置信息： 

 
 vi zoo.cfg 

 
 dataDir=/usr/local/zookeeper/data 

 
 dataLogDir=/usr/local/zookeeper/log 

 
 tickTime=2000 

 
 initLimit=5 

 
 syncLimit=2 

 
 server1=192.168.59.130:2888:3888  

 
 7、zookeeper的启动与关闭： 

 
 开启命令：zkServer.sh start 

 
 关闭命令：zkServer.sh stop 

 
 开启后通过 jps查看，若有QuorumPeerMain,说明启动成功 

 
 安装 
 kafka 

 
 安装版本： 
 2.11-0.10.1.0 

 
 安装步骤： 

 
 1、直接解压： 

 
 tar –zxvf kafka_2.11-0.10.1.0.tgz 

 
 解压完成后，重命名（方便使用）： 
 mv kafka_2.11-0.10.1.0 kafka 

 
 2、更改环境变量： 

 
 vi /etc/profile  (添加以下信息) 

 
 export KAFKA_HOME=/usr/local/kafka 

 
 export PATH=$KAFKA_HOME/bin:$PATH 

 
 source /etc/profile 

 
 3、在目录下添加以下文件夹： 

 
 mkdir /usr/local/kafka/logs 

 
 4、更改配置信息： 

 
 cd /usr/local/kafka/config 

 
 修改server.properties中的配置信息： 

 
 vi server.properties 

 
 broker.id=1 

 
 listeners=PLAINTEXT://192.168.59.130:9092 

 
 advertised.listeners=PLAINTEXT://192.168.59.130:9092 

 
 log.dirs=/usr/local/kafka/logs 

 
 zookeeper.connect=192.168.59.130:2181 

 
 5、修改producer.properties配置信息 

 
 vi producer.properties 

 
 metadata.broker.list=192.168.59.130:9092 

 
 6、修改consumer.properties配置信息： 

 
 vi consumer.properties 

 
 zookeeper.connect=192.168.59.130:2181 

 
 7、kafka启动执行命令： 

 
 开启命令：kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties 

 
 开启后通过 jps查看，若有Kafka说明启动成功 

 
 8、测试 

 
 创建topic:kafka-topic.sh --creat --zookeeper 192.168.59.130:2181 

 
 --replication-factor 1 --partitions 1 –-topic test 

 
 查看 
 topic: kafka-topic.sh --list --zookeeper 192.168.59.130:2181 

 
 创建消费者： 
  kafka-console-producer.sh --broker-list 192.168.59.130:9092                                 --topic test 

 
 创建消费者： 
  kafka-console-consumer.sh --zookeeper 192.168.59.130:2181 

 
                  --topic test --from-beginning 

关注

专栏目录