linux环境下安装kafka

linux环境下安装kafka

 

Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能，但具有自己独特的设计

 

基本的消息系统术语：

•Kafka将消息以topic为单位进行归纳。

•将向Kafka topic发布消息的程序成为producers.

•将预订topics并消费消息的程序成为consumer.

•Kafka以集群的方式运行，可以由一个或多个服务组成，每个服务叫做一个broker.

producers通过网络将消息发送到Kafka集群，集群向消费者提供消息。客户端和服务端通过TCP协议通信。Kafka提供了Java客户端，并且对多种语言都提供了支持。

 

 

 

 

Kafka的安装需要java环境，cent os 7自带java1.6版本，可以不用重新安装

准备工作：

Kafka集群是把状态保存在Zookeeper中的，首先要搭建Zookeeper集群

 

1、下载软

zookeeper压缩包、kafka压缩包

#下载ZooKeeper：http://pan.baidu.com/s/1pJlwbR9

wget  http://apache.opencas.org/kafka/0.9.0.1/kafka_2.10-0.10.1.0.tgz

 

#这里没有用到zookeeper软件包

 

2、解压

#tar -zxvf zookeeper-3.4.5.tar.gz

tar -zxvf kafka_2.10-0.10.1.0.tgz

 

#3、修改配置文件

#zookeeper配置相关文件

#https://www.cnblogs.com/mmzs/p/8072264.html

 

4、相关配置修改

（1）修改zookeeper相关配置

cd /kafka/config

vi zookeeper.properties

dataDir=/data1/xjy/kafka/zookeeper_data （zookeeper_data存放信息文件）

（2）修改kafka相关配置

cd /kafka/config

vi server.properties

listeners=PLAINTEXT://192.168.92.111:9092

advertised.listeners=PLAINTEXT://192.168.92.111:9092

log.dirs=/data1/xjy/kafka/logs

 

 

5、

启动zookeeper

bin/zookeeper-server-start.sh config/zookeeper.properties &

 

启动kafka

bin/kafka-server-start.sh config/server.properties &

 

关闭kafka

bin/kafka-server-stop.sh config/server.properties &

 

kafka创建topic

bin/kafka-topics.sh --create --zookeeper 192.168.92.111:2181 --replication-factor 1 --partitions 1 --topic test

 

查看topic

bin/kafka-topics.sh --list --zookeeper 192.168.92.111:2181

 

ksfka删除topic

bin/kafka-topics.sh --delete --zookeeper 192.168.92.111:2181 --topic test

 

运行 producer：

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic appreportdata_800021

 

运行 consumer：

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic appreportdata_800021 --from-beginning