SpringBoot2 整合Kafka组件，应用案例和流程详解

一、搭建Kafka环境1、下载解压-- 下载wget http://mirror.bit.edu.cn/apache/kafka/2.2.0/kafka_2.11-2.2.0.tgz-- 解压tar -zxvf kafka_2.11-2.2.0.tgz-- 重命名mv kafka_2.11-2.2.0 kafka2.112、启动Kafka服务

kafka依赖ZooKeeper服务，需要本地安装并启动ZooKeeper。

参考文章：Linux系统搭建ZooKeeper3.4中间件，常用命令总结

-- 执行位置-- /usr/local/mysoft/kafka2.11bin/kafka-server-start.sh config/server.properties3、查看服务ps -aux |grep kafka4、开放地址端口-- 基础路径-- /usr/local/mysoft/kafka2.11/configvim server.properties-- 添加下面注释advertised.listeners=PLAINTEXT://192.168.72.130:9092二、Kafka基础概念1、基础描述

Kafka是由Apache开源，具有分布式、分区的、多副本的、多订阅者，基于Zookeeper协调的分布式处理平台，由Scala和Java语言编写。通常用来搜集用户在应用服务中产生的动作日志数据，并高速的处理。日志类的数据需要高吞吐量的性能要求，对于像Hadoop一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。

2、功能特点

(1)、通过磁盘数据结构提供消息的持久化，消息存储也能够保持长时间稳定性;

(2)、高吞吐量，即使是非常普通的硬件Kafka也可以支持每秒超高的并发量;

(3)、支持通过Kafka服务器和消费机集群来分区消息;

(4)、支持Hadoop并行数据加载;