Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop一样的日志数据和离线分析系统,但又要求实时处理的限制,这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理,也是为了通过集群来提供实时的消息。
需要先安装JDK,详细参考华为云ECS安装JDK8。
另外本文主要参考Kafka官网进行整理,安装一个可供创建Demo演示的消息队列。
12.1 Kafka下载安装
本文使用的Kafka包含内置的Zookeeper,主要为了搭建一个简单的Kafka测试环境,生产环境请单独安装Zookeeper。
[root@ecs-s6 J2EETool]# wget http://mirror.bit.edu.cn/apache/kafka/2.4.0/kafk