聊聊Kafka(十)Kafka的集群搭建与监控

最新推荐文章于 2024-05-25 22:25:06 发布
最新推荐文章于 2024-05-25 22:25:06 发布
阅读量429 收藏
点赞数
分类专栏： 消息中间件
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/z591045/article/details/112362306
版权

集群应用场景

消息传递
Kafka可以很好地替代传统邮件代理。消息代理的使用有多种原因（将处理与数据生产者分离，缓冲未处理的消息等）。与大多数邮件系统相比，Kafka具有更好的吞吐量，内置的分区，复制和容错功能，这使其成为大规模邮件处理应用程序的理想解决方案。

根据经验，消息传递的使用通常吞吐量较低，但是可能需要较低的端到端延迟，并且通常取决于Kafka提供的强大的持久性保证。在这个领域，Kafka与ActiveMQ或 RabbitMQ等传统消息传递系统相当。

网站活动路由
Kafka最初的用例是能够将用户活动跟踪管道重建为一组实时的发布-订阅。这意味着将网站活动（页面浏览，搜索或用户可能采取的其他操作）发布到中心主题，每种活动类型只有一个主题。这些提要可用于一系列用例的订阅，包括实时处理，实时监控，以及加载到Hadoop或脱机数据仓库系统中以进行脱机处理和报告。

活动跟踪通常量很大，因为每个用户页面视图都会生成许多活动消息。

监控指标
Kafka通常用于操作监控数据。这涉及汇总来自分布式应用程序的统计信息，以生成操作数据的集中。

日志汇总
许多人使用Kafka代替日志聚合解决方案。日志聚合通常从服务器收集物理日志文件，并将它们放在中央位置（也许是文件服务器或HDFS）以进行处理。Kafka提取文件的详细信息，并以日志流的形式更清晰地抽象日志或事件数据。这允许较低延迟的处理，并更容易支持多个数据源和分布式数据消耗。与以日志为中心的系统（例如Scribe或Flume）相比，Kafka具有同样出色的性能，由于复制而提供的更强的耐用性保证以及更低的端到端延迟。

流处理
Kafka的许多用户在由多个阶段组成的处理管道中处理数据，其中原始输入数据从Kafka主题中使用，然后进行汇总，充实或以其他方式转换为新主题，以供进一步使用或后续处理。例如，用于推荐新闻文章的处理管道可能会从RSS提要中检索文章内容，并将其发布到“文章”主题中。进一步的处理可能会使该内容规范化或重复数据删除，并将清洗后的文章内容发布到新主题中；最后的处理阶段可能会尝试向用户推荐此内容。这样的处理管道基于各个主题创建实时数据流的图形。从0.10.0.0开始，一个轻量但功能强大的流处理库称为Kafka Streams 可以在Apache Kafka中使用来执行上述数据处理。除了Kafka Streams以外，其他开源流处理工具还包括Apache Storm和 Apache Samza。

活动采集
事件源是一种应用程序，其中状态更改以时间顺序记录记录。Kafka对大量存储的日志数据的支持使其成为以这种样式构建的应用程序的绝佳后端。

提交日志
Kafka可以用作分布式系统的一种外部提交日志。该日志有助于在节点之间复制数据，并充当故障节点恢复其数据的重新同步机制。Kafka中的日志压缩功能有助于支持此用法。在这种用法中，Kafka类似于Apache BookKeeper项目。

  1. 横向扩展，提高Kafka的处理能力
  2. 镜像，副本，提供高可用。

集群搭建

  1. 搭建设计
    在这里插入图片描述
  2. 分配三台Linux，用于安装拥有三个节点的Kafka集群。
node2(192.168.100.102)
node3(192.168.100.103)
node4(192.168.100.104)
以上三台主机的/etc/hosts配置：
192.168.100.101 node1
192.168.100.102 node2
192.168.100.103 node3
192.168.100.104 node4

Zookeeper集群搭建

  1. Linux安装JDK，三台Linux都安装。
    上传JDK到linux安装并配置JDK
# 使用rpm安装JDK
rpm -ivh jdk-8u261-linux-x64.rpm
# 默认的安装路径是/usr/java/jdk1.8.0_261-amd64
# 配置JAVA_HOME
vim /etc/profile
# 文件最后添加两行
export JAVA_HOME=/usr/java/jdk1.8.0_261-amd64
export PATH=$PATH:$JAVA_HOME/bin
# 退出vim，使配置生效
source /etc/profile
#查看JDK是否正确安装
java -version

在这里插入图片描述
2. Linux 安装Zookeeper，三台Linux都安装，以搭建Zookeeper集群
上传zookeeper-3.4.14.tar.gz到Linux 解压并配置zookeeper

# node操作
# 解压到/opt目录
tar -zxf zookeeper-3.4.14.tar.gz -C /opt
# 配置
cd /opt/zookeeper-3.4.14/conf
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg
# 设置
dataDir=/var/zookeeper/data
# 添加
server.1=node2:2881:3881
server.2=node3:2881:3881
server.3=node4:2881:3881
# 退出vim
mkdir -p /var/zookeeper/data
echo 1 > /var/zookeeper/data/myid
# 配置环境变量
vim /etc/profile
# 添加
export ZOOKEEPER_PREFIX=/opt/zookeeper-3.4.14
export PATH=$PATH:$ZOOKEEPER_PREFIX/bin

启动zookeeper

在三台Linux上启动Zookeeper
[root@node2 ~]# zkServer.sh start
[root@node3 ~]# zkServer.sh start
[root@node4 ~]# zkServer.sh start
# 在三台Linux上查看Zookeeper的状态
[root@node2 ~]# zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/zookeeper-3.4.14/bin/../conf/zoo.cfg
Mode: follower
[root@node3 ~]# zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/zookeeper-3.4.14/bin/../conf/zoo.cfg
Mode: leader
[root@node4 ~]# zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/zookeeper-3.4.14/bin/../conf/zoo.cfg
Mode: follower

Kafka集群搭建

  1. 安装Kafka
    上传并解压Kafka到/opt
# 解压到/opt
tar -zxf kafka_2.12-1.0.2.tgz -C /opt
# 拷贝到node3和node4
scp -r /opt/kafka_2.12-1.0.2/ node3:/opt
scp -r /opt/kafka_2.12-1.0.2/ node4:/opt

配置Kafka

 配置环境变量，三台Linux都要配置
vim /etc/profile
# 添加以下内容：
export KAFKA_HOME=/opt/kafka_2.12-1.0.2
export PATH=$PATH:$KAFKA_HOME/bin
# 让配置生效
source /etc/profile
# node2配置
vim /opt/kafka_2.12-1.0.2/config/server.properties
broker.id=0
listeners=PLAINTEXT://:9092
advertised.listeners=PLAINTEXT://node2:9092
log.dirs=/var/kafka/kafka-logs
zookeeper.connect=node2:2181,node3:2181,node4:2181/myKafka
# 其他使用默认配置
# node3配置
vim /opt/kafka_2.12-1.0.2/config/server.properties
broker.id=1
listeners=PLAINTEXT://:9092
advertised.listeners=PLAINTEXT://node3:9092
log.dirs=/var/kafka/kafka-logs
zookeeper.connect=node2:2181,node3:2181,node4:2181/myKafka
# 其他使用默认配置# node4配置
vim /opt/kafka_2.12-1.0.2/config/server.properties
broker.id=2
listeners=PLAINTEXT://:9092
advertised.listeners=PLAINTEXT://node4:9092
log.dirs=/var/kafka/kafka-logs
zookeeper.connect=node2:2181,node3:2181,node4:2181/myKafka
# 其他使用默认配置

启动Kafka

[root@node2 ~]# kafka-server-start.sh /opt/kafka_2.12-
1.0.2/config/server.properties
[root@node3 ~]# kafka-server-start.sh /opt/kafka_2.12-
1.0.2/config/server.properties
[root@node4 ~]# kafka-server-start.sh /opt/kafka_2.12-
1.0.2/config/server.properties

验证Kafka
node2节点的Cluster Id：
在这里插入图片描述

  1. Cluster Id是一个唯一的不可变的标志符，用于唯一标志一个Kafka集群。
  2. 该Id最多可以有22个字符组成，字符对应于URL-safe Base64。
  3. Kafka 0.10.1版本及之后的版本中，在集群第一次启动的时候，Broker从Zookeeper的<Kafka_ROOT>/cluster/id节点获取。如果该Id不存在，就自动生成一个新的。

集群监控

监控度量指标
Kafka使用Yammer Metrics在服务器和Scala客户端中报告指标。Java客户端使用Kafka Metrics，它是一个内置的度量标准注册表，可最大程度地减少拉入客户端应用程序的传递依赖项。两者都通过JMX公开指标，并且可以配置为使用可插拔的统计报告器报告统计信息，以连接到您的监视系统。

JMX

Kafka开启Jmx端口

[root@node4 bin]# vim /opt/kafka_2.12-1.0.2/bin/kafka-server-start.sh

在这里插入图片描述
所有kafka机器添加一个 JMX_PORT ，并重启kafka

验证JMX开启
首先打印9581端口占用的进程信息，然后使用进程编号对应到Kafka的进程号。
在这里插入图片描述
也可以查看Kafka启动日志，确定启动参数 -Dcom.sun.management.jmxremote.port=9581存在即可

使用JConsole链接JMX端口
win/mac，找到jconsole工具并打开， 在 ${JAVA_HOEM}/bin/
Mac电脑可以直接命令行输入 jconsole
在这里插入图片描述

监控工具 Kafka Eagle

可以使用Kafka-eagle管理Kafka集群
核心模块：

  • 面板可视化
  • 主题管理，包含创建主题、删除主题、主题列举、主题配置、主题查询等
  • 消费者应用：对不同消费者应用进行监控，包含Kafka API、Flink API、Spark API、StormAPI、Flume API、LogStash API等
  • 集群管理：包含对Kafka集群和Zookeeper集群的详情展示，其内容包含Kafka启动时间、Kafka端口号、Zookeeper Leader角色等。同时，还有多集群切换管理，Zookeeper Client操作入口
  • 集群监控：包含对Broker、Kafka核心指标、Zookeeper核心指标进行监控，并绘制历史趋势图
  • 告警功能：对消费者应用数据积压情况进行告警，以及对Kafka和Zookeeper监控度进行告警。同时，支持邮件、微信、钉钉告警通知
  • 系统管理：包含用户创建、用户角色分配、资源访问进行管理

架构：

  • 可视化：负责展示主题列表、集群健康、消费者应用等
  • 采集器：数据采集的来源包含Zookeeper、Kafka JMX & 内部Topic、Kafka API（Kafka 2.x以后版本）
  • 数据存储：目前Kafka Eagle存储采用MySQL或SQLite，数据库和表的创建均是自动完成的，按照官方文档进行配置好，启动Kafka Eagle就会自动创建，用来存储元数据和监控数据
  • 监控：负责见消费者应用消费情况、集群健康状态
  • 告警：对监控到的异常进行告警通知，支持邮件、微信、钉钉等方式
  • 权限管理：对访问用户进行权限管理，对于管理员、开发者、访问者等不同角色的用户，分配不用的访问权限

流程：
需要Kafka节点开启JMX。前面讲过了。

# 下载编译好的包
wget http://pkgs-linux.cvimer.com/kafka-eagle.zip
# 配置kafka-eagle
unzip kafka-eagle.zip
cd kafka-eagle/kafka-eagle-web/target
mkdir -p test
cp kafka-eagle-web-2.0.1-bin.tar.gz test/
tar xf kafka-eagle-web-2.0.1-bin.tar.gz
cd kafka-eagle-web-2.0.1

需要配置环境变量：
KE_HOME=
PATH=
conf下的配置文件：system-config.properties

# 此处的前缀就是集群的别名
cluster1.zk.list=node2:2181,node3:2181,node4:2181/myKafka
######################################
# zookeeper enable acl
######################################
cluster1.zk.acl.enable=false
cluster1.zk.acl.schema=digest
cluster1.zk.acl.username=test
cluster1.zk.acl.password=test123
######################################
# kafka 集群是否开启了认证模式，此处是cluster1集群的配置，禁用
######################################
cluster1.kafka.eagle.sasl.enable=false
cluster1.kafka.eagle.sasl.protocol=SASL_PLAINTEXT
cluster1.kafka.eagle.sasl.mechanism=SCRAM-SHA-256
cluster1.kafka.eagle.sasl.jaas.config=org.apache.kafka.common.security.scra
m.ScramLoginModule required username="kafka" password="kafka-eagle";
######################################
# 存储监控数据的数据库地址
# kafka默认使用sqlite存储，需要指定和创建sqlite的目录
# 如 /home/hadoop/kafka-eagle/db
######################################
kafka.eagle.driver=org.sqlite.JDBC
kafka.eagle.url=jdbc:sqlite:/home/hadoop/kafka-eagle/db/ke.db
kafka.eagle.username=root
kafka.eagle.password=www.kafka-eagle.org
 kafka eagle 设置告警邮件服务器
######################################
kafka.eagle.mail.enable=true
kafka.eagle.mail.sa=kafka_alert
kafka.eagle.mail.username=kafka_alert@163.com
kafka.eagle.mail.password=Pas2W0rd
kafka.eagle.mail.server.host=smtp.163.com
kafka.eagle.mail.server.port=25

# 启动kafka-eagle
./bin/ke.sh start
一白丁
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
zk及kafka集群搭建
suphieLiang的博客
05-17 1089
一、zk集群搭建 机器数量：奇数个（最少3台） zk及kafka依赖于java环境 centOs yum 安装命令yum -y install java-1.8.0-openjdk* zk配置 dataDir=/aaa/zookeeper clientPort=2181 maxClientCnxns=0 initLimit=5 syncLimit=2 server.1=zk1:2...
kafka 单机集群搭建和监控
11-23
在本文中，我们将深入探讨如何搭建Kafka单机环境与集群，以及如何进行有效的监控。Kafka是由Apache开发的一个分布式流处理平台，广泛应用于实时数据处理、消息传递和日志聚合等场景。以下是对每个主题的详细说明： ...
kafka-集群应用场景
小城我家
11-14 285
集群应用场景 消息传递 Kafka可以很好地替代传统邮件代理。消息代理的使用有多种原因（将处理与数据生产者分离，缓冲未处理的消息等）。与大多数邮件系统相比，Kafka具有更好的吞吐量，内置的分区，复制和容错功能，这使其成为大规模邮件处理应用程序的理想解决方案。 根据我们的经验，消息传递的使用通常吞吐量较低，但是可能需要较低的端到端延迟，并且通常取决于Kafka提供的强大的持久性保证。 在这个领域，Kafka与ActiveMQ或 RabbitMQ等传统消息传递系统相当 网站活动路由 Kafka最初的用例是能够
Kafka（十三）监控与告警
最新发布
yunyun1886358的专栏
05-25 1085
Kafka监控和警报对于维护Kafka集群的运行状况、性能和安全性至关重要，能够实现主动的问题检测、快速的事件响应和遵守SLA。 本文演示了如何搭建一套Kafka监控和告警的解决方案，包括Prometheus，Kafka Export，Grafna的部署说明。
kafka 集群--3个broker 3个zookeeper创建实战
01-21 152
准备工作： 1. 准备3台机器，IP地址分别为：192.168.0.10，192.168.0.11，192.168.0.12 2. 下载kafka稳定版本，我的版本为：kafka_2.9.2-0.8.1.1.tgz 3. 分别解压放入到想安装的目录下，我的目录为:/home/www 解压命令为： tar -xzf kafka_2.9.2-0.8.1.1.tgz 搭建zooke...
Kafka：集群安装（3台kafka,1台独立的zookeeper)
amadeus_liu2的博客
04-01 2087
一、准备zookeeper 1.下载Zookeeper 3.6.2 2.解压缩 3.进到zookeeper目录 4.执行 bin/zkServer.sh start 二、安装Kafka2.6集群 1.下载Kafka 2.6.2 2.解压缩. 3.进入config目录，编辑server.properties 主要需要改3个参数： broker.id=0 (第二、三台分别为1，2） log.dirs=/root/kafka-logs zookeeper.connect=139.198.xx.xx 4.返回上
16、kafka集群监控
lixiang987654321的专栏
08-16 815
kafka集群监控一、Kafka Offset Monitor介绍安装部署Kafka Offset Monitor安装部署kafka-mamager工具 Kafka集群监控工具有很多，这里我们只介绍针对Kafka的监控。 一、Kafka Offset Monitor介绍 在生产环境中需要集群高可用，所以需要对kafka集群进行监控。Kafka Offset Monitor可以监控Kafka集群以下...
kafka基础知识及集群搭建
11-03
【Kafka基础知识及集群搭建】 Kafka是一种分布式消息中间件，由Apache软件基金会开发，主要用于处理实时流式数据。它的核心特性包括高吞吐量、持久性、分布式和灵活的消费模式。 ### 1. Kafka概述 #### 1.1 消息...
kafka集群搭建.pdf
01-04
kafka集群搭建方案 kafka集群搭建是大数据处理和实时数据处理的重要组件。下面是kafka集群搭建的详细方案： 一、准备工作 1. 关闭防火墙 关闭防火墙是kafka集群搭建的前提条件。可以使用systemctl disable ...
kafka0.10.2.1集群搭建.docx
06-11
【Kafka 0.10.2.1 集群搭建详解】 Kafka 是一个分布式流处理平台，常用于实时数据管道和流应用。在0.10.2.1版本中，Kafka 提供了更稳定和高效的数据处理能力。搭建 Kafka 集群涉及多个步骤，包括环境准备、配置、...
kafka集群搭建与使用
07-05
Kafka 集群搭建与使用 Kafka 是一种高吞吐量的分布式发布订阅消息系统，使用 Scala 编写。Kafka 拥有作为一个消息系统应该具备的功能，但是确有着独特的设计。Kafka 集群的搭建和使用是基于 Kafka 的设计理念和架构...
Kafka集群及监控安装指南
chuluo6251的博客
04-16 95
kafka官网：http://kafka.apache.org/ 官方文档：http://kafka.apache.org/documentation.html#quickstart kafka集群安装 下载：kafka_2.10-0.8.2.0.tar.gz 解压：...
Zookeeper集群与kafka集群部署搭建
搬着砖，敲着代码的博客
04-11 1271
Zookeeper是一个开源的分布式的，为分布式框架提供协调服务的Apache项目。Kafka 是最初由 Linkedin 公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于 Zookeeper 协调的分布式消息中间件系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景，比如基于 hadoop 的批处理系统、低延迟的实时系统、Spark/Flink 流式处理引擎，nginx 访问日志，消息服务等等，用 scala 语言编写，
Kafka集群安装（3节点）
君子性非异也 善假于物也
12-20 2231
一、安装前准备 　　1.1 示例机器   二、 JDK7 安装 1.1 下载地址 　　下载地址： http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html     [hadoop@hadoop1 ~]$ cd [hadoop@hadoop1
kafka利用自带的zookeeper进行集群部署
hjxisking的专栏
01-28 2821
一、前提条件 1、部署Kafka集群搭建需要服务器至少3台，奇数台 2、Kafka的安装需要java环境，jdk1.8 3、Kafka安装包版本：https://mirror-hk.koddos.net/apache/kafka/2.7.0/kafka_2.13-2.7.0.tgz 4、3台机器增加host配置： 192.168.202.129 kafka-1.local 192.168.202.130 kafka-2.local 192.168.202.131 kafka-3.local...
单节点部署三台zookeeper和三台kafka
yoohhwz的博客
10-30 840
一台机器部署三台zookeeper：同理kafka也可以这样部署 解压创建三个软连接，分别为 zookeeper，zookeeper1，zookeeper2 [hadoop@hadoop001 app]$ ll lrwxrwxrwx. 1 hadoop hadoop 25 Sep 1 03:37 zookeeper -> zookeeper-3.4.5-cdh5.7.0/ drwxr...
部署 Kafka 和 zookeeper 集群（均三节点）
一个骚年的博客
12-17 1332
1、系统环境 本次部署为三台服务器部署zookeeper和Kafka集群。 操作系统 zookeeper版本 Kafka版本 CentOS Linux release 7.8.2003 zookeeper-3.7.0 kafka_2.13-3.0.0 自行安装 JDK，启动zookeeper需要Java环境 2、配置Zookeeper集群（三节点一样） 1、创建Zk server的集群安装目录 [root@rac2 /]# mkdir /data [root@rac2 /]# mk.
三、Kafka集群配置
qq_37200262的博客
05-20 1084
Kafka集群配置 下载安装和单机版一样，Kafka单机安装 不同之处在于配置文件的修改。 主要修改点: broker.id三台递增0,1,2就行； listeners=PLAINTEXT://CentOSC:9092监听的主机和端口； log.dirs=/usr/kafka-logs修改日志和数据文件目录地址 配置zookeeper.connect=CentOSA:2181,CentOSB:2181,CentOSC:2181是zook集群的连接信息 # Licensed to the Apache Sof
基于 ZooKeeper 搭建 Kafka 高可用集群
weixin_42073629的博客
08-11 417
一、Zookeeper集群搭建 为保证集群高可用，Zookeeper 集群的节点数最好是奇数，最少有三个节点，所以这里搭建一个三个节点的集群。 1.1 下载 & 解压 下载对应版本 Zookeeper，这里我下载的版本3.4.14。官方下载地址：https://archive.apache.org/dist/zookeeper/ # 下载 wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4.14/zookeeper-3.
Storm电商实战：Kafka入门与集群搭建
"Storm流计算项目：1号店电商实时数据分析系统-05.Kafka基础知识和集群搭建"是一门针对IT专业人士的实战课程，该课程涵盖了Apache Storm在实时数据分析中的应用，特别是与Apache Kafka的集成。Apache Storm是一个...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值