分布式消息通知----Kafka集群部署

Kafka简介

Kafka是一款分布式的消息发布订阅系统，具有高性能，高吞吐量的特点而被广泛应用于大数据传输场景。它是由Linkedin公司开发，使用Scale语言开发，之后成为Apache基金会的一个顶级的项目。Kafka提供了类似JMS的特性，但特性和设计上完全不同，而且它也不是基于JMS规范的实现。

Kafka的产生背景

Kafka作为一个消息系统，最初设计的目的是用作Linkedin的活动流（ActivityStream）和运营数据管理通道（pipline）。活动流数据是所有的网站对用户的使用情况做分析的时候要用到的最常规的部分，活动数据包括页面的访问量（pv），被查看内容方面的信息以及搜索内容。这种数据的处理方式通常是，先把各种活动以日志的形式写入到某种文件中，然后周期性地对这些文件进行统计分析。运营数据指的是服务器的性能数据（CPU、IO使用率、请求时间、服务日志等）

Kafka的应用场景

由于Kafka具有更好的吞吐量、内置分区、冗余、容错性的优点（Kafka每秒可以处理几十万的消息），让Kafka成为一个很优秀的大规模消息处理应用的解决方案。在企业级应用上，Kafka主要应用于以下几个方面：

1. 行为跟踪：Kafka可用于跟踪用户浏览页面及搜索内容等其他动作行为，通过发布-订阅模式记录到对应的topic中，通过后端接入大数据平台处理分析，并作进一步的实时处理，监控和分析。
2. 日志收集：日志收集方面有很多优秀的产品。比如Apache Flume，很多公司使用Kafka代理日志聚合。日志聚合表示从服务器上搜集日志，然后放到一个集中的平台（文件服务管理器）进行处理。在实际应用的开发中，log会输出到本地磁盘上，排查问题的话通过Linux命令来搞定，如果应用组成了负载均衡集群，并且集群机器有几十台，甚至更多，那么想通过日志快速定位到问题，就非常麻烦了。所以一般都会做一个日志统一搜集平台，管理log日志用于快速查找定位重要应用的问题。很多公司的套路都是，将日志数据集中到Kafka上，然后分别导入es和hdfs上，用来做实时检索分析和离线数据数据统计备份等。而另一方面，Kafka本身也提供了很好的Api用来做集成日志并且做日志收集
3. 

Kafka安装部署

单机部署

1. 先部署一台zookeeper服务器，kafka的运行需要依赖于zookeeper，启动号zookeeper服务，这里zk服务的IP为192.168.50.115默认在端口2181,提供服务

[root@util bin]# sh zkServer.
zkServer.cmd  zkServer.sh   
[root@util bin]# sh zkServer.sh start
/bin/java
ZooKeeper JMX enabled by default
Using config: /home/apache-zookeeper-3.8.2-bin/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

3. 下载3.5.1的Kafka，下载地址为：
   https://downloads.apache.org/kafka/3.5.1/kafka_2.12-3.5.1.tgz

[root@zk2 home]# wget https://downloads.apache.org/kafka/3.5.1/kafka_2.12-3.5.1.tgz
--2023-07-26 15:57:34--  https://downloads.apache.org/kafka/3.5.1/kafka_2.12-3.5.1.tgz
正在解析主机 downloads.apache.org (downloads.apache.org)... 88.99.95.219, 135.181.214.104, 2a01:4f8:10a:201a::2, ...
正在连接 downloads.apache.org (downloads.apache.org)|88.99.95.219|:443... 已连接。
已发出 HTTP 请求，正在等待回应... 200 OK
长度：106956505 (102M) [application/x-gzip]
正在保存至: “kafka_2.12-3.5.1.tgz”

100%[======================================