5分钟内了解Apache Kafka

　　在几分钟内开始使用Apache Kafka

　　Technofunnel提供了另一篇文章，介绍如何在本地系统上使用Apache Kafka Server。 本文的重点是提供简单的步骤来运行Kafka。 本文将添加在Windows上运行Apache Kafka服务器以及创建Kafka Consumer和Producer所需的一系列步骤和配置。

　　

　　> Setting up and working with Kafka. What is Kafka?

　　什么是Kafka

　　Apache Kafka是一个分布式流平台，可用于发布和订阅数据流。 Kafka确实非常快，并且具有良好的容错能力。 它可以处理大量数据，并可用于实时数据跟踪。 Apache Kafka可用于监视日志，跟踪实时流量，管理实时数据共享。

　　Kafka具有高吞吐量，高度可靠的系统，如今已被大公司使用。 在我们的实际应用程序中进行设置和工作很简单。

　　Kafka设置和安装

　　1.通过以下链接在Windows上安装Java JDK 8：

　　2.从以下网址下载Kafka：

　　3.在本地系统中解压缩Kafka文件夹

　　安装Java JDK后，将Kafka文件夹解压缩到某个本地目录中。 为此，我将文件夹解压缩到" C："中

　　

　　> Unzipping Kafka Folder

　　4.修改Kafka的配置

　　我们需要进一步修改一些配置。 在" config"文件夹中，使用以下描述的配置更新" serverperties"文件。

　　

　　> Setting up Port for Kafka Server

　　5.更新配置文件中的日志目录

　　此外，我们需要修改" log.dirs"属性以标记当前的Kafka存储库。 由于我已将文件解压缩到" C："，因此配置已更新为" C： kafka_2.12–2.4.0"

　　

　　> Setting up the Kafka Log Repository

　　设置完成后，我们需要执行以下命令，以使基本系统和Kafka服务器以及主题的使用者和生产者一起运行。

　　运行Apache Zookeeper…

　　Working with Zookeeper

　　Apache Zookeeper是由Apache开发的软件，用作集中服务，用于维护命名和配置数据并在分布式系统内提供同步。 Zookeeper跟踪Kafka群集节点的状态，还跟踪Kafka主题，分区等。

　　ApacheZookeeper本身允许多个客户端同时执行读写操作，并充当系统内的共享配置服务。 Zookeeper原子广播（ZAB）协议是卖游戏平台整个系统的大脑，这使Zookeeper可以充当原子广播系统并发布有序的更新。

　　在本地系统上运行ZooKeeper

　　运行Zookeeper非常简单，我们需要执行以下命令。 由于我们正在使用Windows，因此我们需要导航到" bin"目录的" windows"文件夹。

　　

　　在Windows文件夹中，我们需要执行：

　　zookeeper-server-start.bat ../../config/zookeeperperties

　　

　　**请记住，该命令需要在" window"文件夹中执行

　　此命令将使用" C： kafka_2.12–2.4.0 config zookeeperperties"中定义的配置设置开始运行Zookeeper服务器。 Zookeeper启动并运行后，我们需要运行" Kafka"服务器。 上面的命令将在以下端口上运行ZooKeeper：2181

　　正在运行Apache Kafka服务器…

　　为了运行Kafka服务器，我们需要让Zookeeper在后台运行，打开另一个命令提示符，然后执行以下命令：

　　kafka-server-start.bat ../../config/serverperties

　　

　　**请记住，该命令需要在" window"文件夹中执行

　　一旦命令启动并运行，我们将在" 9092"端口上运行Kafka服务器，并在" serverperties"配置文件中指定设置。

　　在Kafka中创建主题…

　　Kafka中的主题表示将消息发布和存储到的类别/订阅源名称。 Kafka消息传递体系结构按主题组织。 在Kafka中发送和接收的记录属于某个主题。 Kafka中的生产者在特定主题中写记录，感兴趣的消费者从订阅的主题中读取记录。 由于接收或发送的每条消息都属于一个主题，因此在与消费者或生产者合作之前，我们需要先创建一个主题。

　　kafka-topics.bat-创建-zookeeper本地主机：2181-复制因子1-分区1-主题testotherdata

　　

　　> Creating Kafka Topics

　　在上面的命令中，由于我们正在创建单个Kafka服务器，因此我们将" replication-factor"设置为1，并且需要创建一个" partition"。 创建主题后，您可以运行以下命令以确保已创建主题…

　　kafka-topics.bat —列表— zookeeper本地主机：2181

　　

　　> Listing the Kafka Topics

　　创建Kafka生产者

　　> Kafka Data Producer and Consumer

　　从现在开始，我们有了一个可用的主题，我们现在可以创建一个"生产者"，它将数据提供给该主题流。 生产者将生产记录，然后将这些记录作为指定主题的记录添加到Kafka服务器中。

　　kafka-console-producer.bat —代理列表本地主机：9092 —主题testdataother

　　在上面的命令中，我们为主题" testdataother"创建一个生产者。 生产者现在可以开始向该主题添加记录。

　　创建Kafka消费者

　　> Kafka Consumers and Producers…

　　对相同主题感兴趣的某些消费者可以使用生产者添加的记录。 生产者可用后，我们可以创建使用者以使用" testdataother"主题中的记录。

　　kafka-console-consumer.bat —bootserver localhost：9092 —topic testdataother

　　现在，既然我们创建了使用者，就可以使用来自生产者的传入数据流。 我们可以为"主题"创建多个使用者，只要生产者将记录添加到主题中，使用者就可以接收已发布的数据。

　　结论

　　与Kafka的合作既简单又可靠。 感谢您与我们联系以撰写本文。 保持联系以获取更多此类文章

　　(本文翻译自Mayank Gupta的文章《Apache Kafka in 5 Minutes》