Kafka应用实战——Kafka安装及简单使用

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/dongdong9223/article/details/81429910

转载请注明出处:http://blog.csdn.net/dongdong9223/article/details/81429910
本文出自【我是干勾鱼的博客

Ingredient:

1 Kafka简介

Kafka是什么呢?Kafka官网说自己是“A distributed streaming platform”,也就是一个“分布式流媒体平台”,其实就是一个消息队列平台。消息之间是一个“public & subscribe”的关系,生产者创建消息,消费者订阅消息。

在这里插入图片描述

Kafka® is used for building real-time data pipelines and streaming apps. It is horizontally scalable, fault-tolerant, wicked fast, and runs in production in thousands of companies.

其实要想搞清楚Kafka是什么,有什么好处,可以参考知乎上消息队列的使用场景是怎样的里面ScienJus做出的回答,把消息队列比喻成书架,很形象。

2 JDK下载及环境配置

Java SE Development Kit 8u162,可参照Linux下安装JDK修改环境变量,将JDK环境变量配置好。

3 Zookeeper下载及安装

Kafka运行需要Zookeeper的支持,Zookeeper下载及安装可参考笔者另一篇文章Zookeeper简介及应用实战

4 Kafka下载及安装

下载kafka_2.11-2.0.0.tgz,将其放入“/opt/kafka/”目录并解压:

tar -zxvf kafka_2.11-2.0.0.tgz

解压缩完之后文件完整的路径为:

/opt/kafka/kafka_2.11-2.0.0

5 启动

5.1 启动Zookeeper

相关配置可参考Zookeeper简介及应用实战

进入Zookeeper安装目录:

cd /opt/zookeeper/zookeeper-3.4.12/

启动Zookeeper:

./bin/zkServer.sh  start

5.2 启动Kafka

进入Kafka安装目录:

cd /opt/kafka/kafka_2.11-2.0.0

启动Kafka:

./bin/kafka-server-start.sh config/server.properties

6 测试1:模拟消息交互测试

Kafka官网的Quick Start给出了一个快速上手Kafka试验的实例,可以参考。

6.1 创建topic

./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic my_first_topic

6.2 查看topic

./bin/kafka-topics.sh --list --zookeeper localhost:2181

6.3 发送、接受消息

启动2个终端(t1,t2)连接到服务器,t1作为productor发送消息,t2作为consumer接收消息。

  • 1.在t1中输入:
./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic my_first_topic
This is a message
This is another message

只是启动之前创建的“my_first_topic”,倾向其中输入了一些文本。

  • 2.在t2中输入:
./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic my_first_topic --from-beginning
This is a message
This is another message

这是在consumer中获取到了输入的信息,这里注意有的Kafka版本的命令中包含:

--zookeeper localhost:2181

现在这个版本已经没有这个参数了,而是换成了:

--bootstrap-server localhost:9092

6.4 关闭producer、consumer进程

在t1、t2终端执行:

Ctrl-C

即可。

7 测试2:模拟文件之间传递数据

参考Kafka应用实战——使用Kafka在文件之间传递数据

8 删除topic

./bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topic my_first_topic

9 参考

kafka入门介绍及环境搭建

Quick Start

Zookeeper简介及应用实战

消息队列的使用场景是怎样的

kafka停止consumer,producer等进程

kafka connect 简单测试

展开阅读全文

没有更多推荐了,返回首页