Apache Kafka

Apache Kafka是一个分布式发布 - 订阅消息系统和一个强大的队列，可以处理大量的数据，并使您能够将消息从一个端点传递到另一个端点。 Kafka适合离线和在线消息消费。 Kafka消息保留在磁盘上，并在群集内复制以防止数据丢失。 Kafka构建在ZooKeeper同步服务之上。 它与Apache Storm和Spark非常好地集成，用于实时流式数据分析。Kafka专为分布式高吞吐量系统而设计。 Kafka往往工作得很好，作为一个更传统的消息代理的替代品。 与其他消息传递系统相比，Kafka具有更好的吞吐量，内置分区，复制和固有的容错能力，这使得它非常适合大规模消息处理应用程序。Kafka的具体理论知识可以查看官方文档介绍，http://kafka.apache.org/。

回到顶部

2.Kafka的安装

　　首先确保已经安装过java环境，如果没有可以去官网下载对应版本的jdk。我用的是jdk-8u161-linux-x64.tar.gz，zookeeper-3.4.10.tar.gz，kafka_2.11-1.1.0.tgz。

　　然后需要安装zookeeper，

　　tar -zxf zookeeper-3.4.10.tar.gz

　　cd zookeeper-3.4.10

　　mkdir data

　　vi conf/zoo.cfg

　　tickTime=2000

　　dataDir=/opt/zookeeper-3.4.10/data

　　clientPort=2181

　　initLimit=5

　　syncLimit=2

　　启用zookeeper：bin/zkServer.sh start

　　最后就是Kafka的安装:

　　cd /opt

　　 tar -zxf  kafka_2.11-1.1.0.tgz

　　cd  kafka_2.11-1.1.0

　　启动: bin/kafka-server-start.sh config/server.properties,你将看到如下信息

　　

　　关闭的话输入 bin/kafka-server-stop.sh config/server.properties 即可。

　　后台启动命令，bin/kafka-server-start.sh config/server.properties 1>/dev/null 2>&1 & 

回到顶部

3.代码实现生产者

 

新建一个maven项目（当然java项目或SpringBoot项目也可以），引入所需jar包，pom.xml如下。

 1 &