kafka 可视化工具_Kafka笔记归纳（第六部分:Kafka集群与运维）

最新推荐文章于 2024-04-20 20:36:35 发布

weixin_39856269

最新推荐文章于 2024-04-20 20:36:35 发布

阅读量202

点赞数

文章标签： kafka 可视化工具 kafka 集群 kafka可视化工具 kafka集群

写在开头：

本章是Kafka学习归纳第六部分，着重于强调Kafka的事一致性保证，消息重复消费场景及解决方式，记录偏移量的主题，延时队列的知识点。

文章内容输出来源：拉勾教育大数据高薪训练营。

集群应用场景

第1节消息传递

Kafka可以很好地替代传统邮件代理。消息代理的使用有多种原因（将处理与数据生产者分离，缓冲未处理的消息等）。与大多数邮件系统相比，Kafka具有更好的吞吐量，内置的分区，复制和容错功能，这使其成为大规模邮件处理应用程序的理想解决方案。根据我们的经验，消息传递的使用通常吞吐量较低，但是可能需要较低的端到端延迟，并且通常取决于Kafka提供的强大的持久性保证。在这个领域，Kafka与ActiveMQ或 RabbitMQ等传统消息传递系统相当。

第2节网站活动路由

Kafka最初的用例是能够将用户活动跟踪管道重建为一组实时的发布-订阅。这意味着将网站活动（页面浏览，搜索或用户可能采取的其他操作）发布到中心主题，每种活动类型只有一个主题。这些提要可用于一系列用例的订阅，包括实时处理，实时监控，以及加载到Hadoop或脱机数据仓库系统中以进行脱机处理和报告。活动跟踪通常量很大，因为每个用户页面视图都会生成许多活动消息。

第3节监控指标

Kafka通常用于操作监控数据。这涉及汇总来自分布式应用程序的统计信息，以生成操作数据的集中。

第4节日志汇总

许多人使用Kafka代替日志聚合解决方案。日志聚合通常从服务器收集物理日志文件，并将它们放在中央位置（也许是文件服务器或HDFS）以进行处理。Kafka提取文件的详细信息，并以日志流的形式更清晰地抽象日志或事件数据。这允许较低延迟的处理，并更容易支持多个数据源和分布式数据消耗。与以日志为中心的系统（例如Scribe或Flume）相比，Kafka具有同样出色的性能，由于复制而提供的更强的耐用性保证以及更低的端到端延迟。

第5节流处理

Kafka的许多用户在由多个阶段组成的处理管道中处理数据，其中原始输入数据从Kafka主题中使用，然后进行汇总，充实或以其他方式转换为新主题，以供进一步使用或后续处理。例如，用于推荐新闻文章的处理管道可能会从RSS提要中检索文章内容，并将其发布到“文章”主题中。进一步的处理可能会使该内容规范化或重复数据删除，并将清洗后的文章内容发布到新主题中；最后的处理阶段可能会尝试向用户推荐此内容。这样的处理管道基于各个主题创建实时数据流的图形。从0.10.0.0开始，一个轻量但功能强大的流处理库称为Kafka Streams 可以在Apache Kafka中使用来执行上述数据处理。除了Kafka Streams以外，其他开源流处理工具还包括Apache Storm和 Apache Samza。

第6节活动采集

事件源是一种应用程序，其中状态更改以时间顺序记录记录。Kafka对大量存储的日志数据的支持使其成为以这种样式构建的应用程序的绝佳后端

第7节提交日志

Kafka可以用作分布式系统的一种外部提交日志。该日志有助于在节点之间复制数据，并充当故障节点恢复其数据的重新同步机制。Kafka中的日志压缩功能有助于支持此用法。在这种用法中，Kafka类似于Apache BookKeeper项目。

集群监控

监控工具 Kafka Eagle

我们可以使用Kafka-eagle管理Kafka集群

核心模块：

面板可视化
主题管理，包含创建主题、删除主题、主题列举、主题配置、主题查询等
消费者应用：对不同消费者应用进行监控，包含Kafka API、Flink API、Spark API、Storm API、Flume API、LogStash API等
集群管理：包含对Kafka集群和Zookeeper集群的详情展示，其内容包含Kafka启动时间、 Kafka端口号、Zookeeper Leader角色等。同时，还有多集群切换管理，Zookeeper Client 操作入口
集群监控：包含对Broker、Kafka核心指标、Zookeeper核心指标进行监控，并绘制历史趋势图
告警功能：对消费者应用数据积压情况进行告警，以及对Kafka和Zookeeper监控度进行告警。同时，支持邮件、微信、钉钉告警通知
系统管理：包含用户创建、用户角色分配、资源访问进行管理

安装

需要Kafka节点开启JMX

# 下载编译好的包 
wget http://pkgs-linux.cvimer.com/kafka-eagle.zip 
# 配置kafka-eagle 
unzip kafka-eagle.zip 
cd kafka-eagle/kafka-eagle-web/target 
mkdir -p test 
cp kafka-eagle-web-2.0.1-bin.tar.gz test/ 
tar xf kafka-eagle-web-2.0.1-bin.tar.gz 
cd kafka-eagle-web-2.0.1

conf下的配置文件：system-config.properties

# 集群的别名，用于在kafka-eagle中进行区分。 
# 可以配置监控多个集群，别名用逗号隔开 
# kafka.eagle.zk.cluster.alias=cluster1,cluster2,cluster3 
kafka.eagle.zk.cluster.alias=cluster1 
# cluster1.zk.list=10.1.201.17:2181,10.1.201.22:2181,10.1.201.23:2181 
# 配置当前集群的zookeeper地址，此处的值要与Kafka的server.properties中的 
zookeeper.connect的值一致 
# 此处的前缀就是集群的别名 
cluster1.zk.list=node2:2181,node3:2181,node4:2181/myKafka 
#cluster2.zk.list=xdn10:2181,xdn11:2181,xdn12:2181 
###################################### 
# zookeeper enable acl 
###################################### 
cluster1.zk.acl.enable=false 
cluster1.zk.acl.schema=digest 
cluster1.zk.acl.username=test 
cluster1.zk.acl.password=test123 
###################################### 
# broker size online list 
###################################### 
cluster1.kafka.eagle.broker.size=20 
###################################### 
# zookeeper客户端连接数限制 
###################################### 
kafka.zk.limit.size=25 
###################################### 
# kafka eagle网页端口号 
###################################### 
kafka.eagle.webui.port=8048 
###################################### 
# kafka 消费信息存储位置，用来兼容kafka低版本 
###################################### 
cluster1.kafka.eagle.offset.storage=kafka 
cluster2.kafka.eagle.offset.storage=zk 
###################################### 
# kafka metrics, 15 days by default 
###################################### 
kafka.eagle.metrics.charts=true 
kafka.eagle.metrics.retain=15 
###################################### 
# kafka sql topic records max 
################################
kafka.eagle.sql.topic.records.max=5000 
kafka.eagle.sql.fix.error=true 
###################################### 
# 管理员删除kafka中topic的口令 
###################################### 
kafka.eagle.topic.token=keadmin
###################################### 
# kafka 集群是否开启了认证模式，此处是cluster1集群的配置，禁用 
###################################### 
cluster1.kafka.eagle.sasl.enable=false 
cluster1.kafka.eagle.sasl.protocol=SASL_PLAINTEXT 
cluster1.kafka.eagle.sasl.mechanism=SCRAM-SHA-256 
cluster1.kafka.eagle.sasl.jaas.config=org.apache.kafka.common.security.scr 
am.ScramLoginModule required username="kafka" password="kafka-eagle"; 
cluster1.kafka.eagle.sasl.client.id= 
cluster1.kafka.eagle.sasl.cgroup.enable=false 
cluster1.kafka.eagle.sasl.cgroup.topics= 
###################################### 
# kafka ssl authenticate，示例配置 
###################################### 
cluster2.kafka.eagle.sasl.enable=false 
cluster2.kafka.eagle.sasl.protocol=SASL_PLAINTEXT 
cluster2.kafka.eagle.sasl.mechanism=PLAIN 
cluster2.kafka.eagle.sasl.jaas.config=org.apache.kafka.common.security.pla 
in.PlainLoginModule required username="kafka" password="kafka-eagle"; 
cluster2.kafka.eagle.sasl.client.id= 
cluster2.kafka.eagle.sasl.cgroup.enable=false 
cluster2.kafka.eagle.sasl.cgroup.topics= 
###################################### 
# kafka ssl authenticate，示例配置 
###################################### 
cluster3.kafka.eagle.ssl.enable=false 
cluster3.kafka.eagle.ssl.protocol=SSL 
cluster3.kafka.eagle.ssl.truststore.location= 
cluster3.kafka.eagle.ssl.truststore.password= 
cluster3.kafka.eagle.ssl.keystore.location= 
cluster3.kafka.eagle.ssl.keystore.password= 
cluster3.kafka.eagle.ssl.key.password= 
cluster3.kafka.eagle.ssl.cgroup.enable=false 
cluster3.kafka.eagle.ssl.cgroup.topics= 
###################################### 
# 存储监控数据的数据库地址 
# kafka默认使用sqlite存储，需要指定和创建sqlite的目录 
# 如 /home/lagou/hadoop/kafka-eagle/db 
###################################### 
kafka.eagle.driver=org.sqlite.JDBC 
kafka.eagle.url=jdbc:sqlite:/home/lagou/hadoop/kafka-eagle/db/ke.db 
kafka.eagle.username=root 
kafka.eagle.password=www.kafka-eagle.org
###################################### 
# 还可以使用MySLQ存储监控数据 
###################################### 
#kafka.eagle.driver=com.mysql.jdbc.Driver 
#kafka.eagle.url=jdbc:mysql://127.0.0.1:3306/ke? 
useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull 
#kafka.eagle.username=root 
#kafka.eagle.password=123456 
######################################

也可以自行编译， https://github.com/smartloli/kafka-eagle 创建Eagel的存储目录：

mkdir -p /hadoop/kafka-eagle

# 启动kafka-eagle

./bin/ke.sh start

启动时可以看到账号和密码

出现上图时搭建成功

weixin_39856269

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
kafka 可视化工具_Kafka笔记归纳（第六部分:Kafka集群与运维）

写在开头：本章是Kafka学习归纳第六部分，着重于强调Kafka的事一致性保证，消息重复消费场景及解决方式，记录偏移量的主题，延时队列的知识点。文章内容输出来源：拉勾教育大数据高薪训练营。集群应用场景第1节消息传递 Kafka可以很好地替代传统邮件代理。消息代理的使用有多种原因（将处理与数据生产者分离，缓冲未处理的消息等）。与大多数邮件系统相比，Kafka具有更好的吞吐量，内置的分区，复制和容错...
复制链接

扫一扫