kafka的安装及使用

Kafka

介绍

分布式消息队列（message Queue）系统

     topic:主题、类别

 

分布定义的功能

     比喻：微信公众号

          发布者 -》推送文章

          关注公众号

             订阅1

             订阅2

官网

http://kafka.apache.org/

 

伪分布式的方式安装kafka

启动3台kafka Brokers（kafka的服务server）

 

1.安装过程
    上传解压

 

2.修改配置

config/server.properties

将该文件修改为server9092.properties，server9093.properties，server9094.properties

        配置唯一标识符
			第20行
			broker.id=9092
		配置Broker端口
			第25行
			port=9092
		配置Broker运行主机名称
			第28行
			host.name=bigdata-hpsk01.huadian.com
		配置日志文件存储目录
			第58行
			log.dirs=/opt/modules/kafka_2.11-0.8.2.1/kafkaDatas/data9092
		配置ZK地址以及存储ZNode根目录
			第118行
			zookeeper.connect=bigdata-hpsk01.huadian.com:2181/kafka

以此类推将其他两个都改成和这个一样

 

启动服务

首先需要启动zookeeper的进程

     启动kafka进程

bin/kafka-server-start.sh -daemon config/server9092.properties 
bin/kafka-server-start.sh -daemon config/server9093.properties 
bin/kafka-server-start.sh -daemon config/server9094.properties 

输入jps查看

创建topic

    bin/kafka-topics.sh --create --zookeeper bigdata-hpsk01.huadian.com/kafka --replication-factor 2 --partitions 3 --topic testTopic

    --replication-factor：副本数 ，需要<Brokers 数量
    --partitions：分区数

 

查看Kafka Cluster中有多少topic
 

    bin/kafka-topics.sh --list --zookeeper bigdata-hpsk01.huadian.com/kafka

 

模拟生产者发送数据到Topic中

bin/kafka-console-producer.sh --broker-list bigdata-hpsk01.huadian.com:9092,bigdata-hpsk01.huadian.com:9093,bigdata-hpsk01.huadian.com:9094 --topic testTopic

模拟消费者消费Topic中数据

bin/kafka-console-consumer.sh --zookeeper bigdata-hpsk01.huadian.com/kafka --topic testTopic --from-beginning

 

创建topic后，再zookeeper中可以看到