从 0 到 1 搭建一套 Flink 的监控系统

已于 2022-05-12 10:19:38 修改
阅读量6.4k 收藏 19
点赞数 1
分类专栏： 大数据实时计算引擎 Flink 实战与性能优化 文章标签： flink big data java
于 2020-06-18 08:31:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tzs_1041218129/article/details/106846381
版权
本文详细介绍了如何从头搭建一套Flink监控系统，包括利用API获取监控数据、使用不同Reporter如JMX、Prometheus、InfluxDB等上报数据，以及安装InfluxDB和Grafana进行数据展示。通过这个系统，可以有效地监控JobManager、TaskManager和Flink Job的运行状态。
摘要由CSDN通过智能技术生成

点击上方“zhisheng”，选择“设为星标”

后台回复"666"，获取新资料

 

之前讲解了 JobManager、TaskManager 和 Flink Job 的监控，以及需要关注的监控指标有哪些。本文带大家讲解一下如何搭建一套完整的 Flink 监控系统，如果你所在的公司没有专门的监控平台，那么可以根据本文的内容来为公司搭建一套属于自己公司的 Flink 监控系统。

利用 API 获取监控数据

熟悉 Flink 的朋友都知道 Flink 的 UI 上面已经详细地展示了很多监控指标的数据，并且这些指标还是比较重要的，所以如果不想搭建额外的监控

了解本专栏 订阅专栏 解锁全文
Flink监控报警系统
张小小凡
06-08 2650
自己做Metric监控 Task Metrics 点击右上角可以添加多个指标，我目前认为通过查看这几个指标可以大概知道任务的运行情况。 checkpoint 摘要里有cp的一些平均最大最小信息 可以看到在代码中配置的cp的信息 back pressure 如果出现反压，ok会变为HIGH 二级标题 三级标题 四级标题 五级标题 六级标题 一些知识点 ...
基于 Apache Flink 的实时监控告警系统
http://www.54tianzhisheng.cn/
04-16 7783
点击上方“zhisheng”，选择“设为星标”后台回复”666“获取公众号专属资料本文首发自本人的知识星球《Flink 精进学习》，文末点击阅读原文可以查看对应讲解的视频在如今微服务、云...
Flink 在风控场景实时特征落地实战
是咕咕鸡
03-07 3740
背景介绍 风控简介 二十一世纪，信息化时代到来，互联网行业的发展速度远快于其他行业。一旦商业模式跑通，有利可图，资本立刻蜂拥而至，助推更多企业不断的入场进行快速的复制迭代，企图成为下一个“行业领头羊”。 ​ 带着资本入场的玩家因为不会有资金的压力，只会更多的关注业务发展，却忽略了业务上的风险点。强大如拼多多也被“薅羊毛”大军光顾损失千万。 ​ 风控，即风险管理（risk management），是一个管理过程，包括对风险的定义、测量、评估和应对风险的策略。目的是将可避免的风险、成本及损失极小化[1]。 特征
Flink的实时监控和警报系统
最新发布
AI天才研究院
01-18 1862
1.背景介绍 Flink是一个流处理框架，用于处理大规模数据流。它提供了实时计算和流处理功能，可以用于实时分析和监控。在大数据场景中，Flink的实时监控和警报系统非常重要，可以帮助我们快速发现问题并采取措施。 Flink的实时监控和警报系统包括以下几个方面： 流处理任务的监控：包括任务的执行状态、性能指标、错误日志等。 数据流的监控：包括数据流的速度、数据量、数据质量等。 警报系统：包括...
Flink项目实战篇 基于Flink的城市交通监控平台（上）
moments的博客
12-27 2997
近几年来，随着国内经济的快速发展，高速公路建设步伐不断加快，全国机动车辆、驾驶员数量迅速增长，交通管理工作日益繁重，压力与日俱增。为了提高公安交通管理工作的科学化、现代化水平，缓解警力不足，加强和保障道路交通的安全、有序和畅通，减少道路交通违法和事故的发生，全国各地建设和使用了大量的“电子警察”、“高清卡口”、“固定式测速”、“区间测速”、“便携式测速”、“视频监控”、“预警系统”、“能见度天气监测系统”、“LED信息发布系统”等交通监控系统设备。
Flink项目实战篇 基于Flink的城市交通监控平台（下）
moments的博客
12-27 2566
Flink项目实战篇 基于Flink的城市交通监控平台（上）Flink项目实战篇 基于Flink的城市交通监控平台（下）
如何搭建一套完整的 Flink 监控系统?
http://www.54tianzhisheng.cn/
09-22 1375
8.1 节中讲解了 Job Manager、Task Manager 和 Flink Job 的监控，以及需要关注的监控指标有哪些。本节带大家讲解一下如何搭建一套完整的 Flink 监控系统，如果你所在的公司没有专门的监控平台，那么可以根据本节的内容来为公司搭建一套属于自己公司的 Flink 监控系统。 利用 API 获取监控数据 熟悉 Flink 的朋友都知道 Flink 的 UI 上面已经详细...
基于grafana+prometheus构建Flink监控 --转载
qq_31866793的博客
09-04 1557
基于grafana+prometheus构建Flink监控 原创：Flink菜鸟Flink菜鸟前天 先上一个架构图 Flink App ：通过report 将数据发出去 Pushgateway : Prometheus 生态中一个重要工具 Prometheus :一套开源的系统监控报警框架 （Prometheus 入门与实践） Grafana：一个跨平台的开源的度量分...
金融风控系统（springboot+drools）、flink流计算、mongodb.zip
08-03
通过整合SpringBoot的后端服务、Drools的规则引擎、Flink的流计算和MongoDB的数据存储，学生将有机会掌握一套完整的金融风控解决方案，为未来在金融科技领域的职业发展打下坚实基础。 在这个"demo_01"文件中，可能...
Flink + 强化学习搭建实时推荐系统
阿里云云栖号
11-13 2502
简介： 如何根据用户反馈作出快速及时的实时推荐？ 如今的推荐系统，对于实时性的要求越来越高，实时推荐的流程大致可以概括为：推荐系统对于用户的请求产生推荐，用户对推荐结果作出反馈 (购买/点击/离开等等)，推荐系统再根据用户反馈作出新的推荐。这个过程中有两个值得关注的地方： 这可被视为是一个推荐系统和用户不断交互、互相影响的过程。 推荐系统需要对用户反馈作出快速及时的响应。 这两点本篇分别通过强化学习和 Flink 来实现，而在此之前先了解一些背景概念。 强化学习 强化...
基于Flink的大数据实施城市交通监控平台.zip
04-28
基于Flink的大数据实施城市交通监控平台.zip 大学生课程设计 基于flink的课程设计 自己大二写的课程设计
如何基于Flink+TensorFlow打造实时智能异常检测平台
02-24
AI前线导读：Flink已经渐渐成为实时计算引擎的首选之一，从简单的实时ETL到复杂的CEP场景，Flink都能够很好地驾驭。本文整理自携程实时计算负责人潘国庆在QCon全球软件开发大会(北京站)2019的演讲，他介绍了携程如何基于Flink与TensorFlow构建实时智能异常检测平台，以解决规则告警系统准确率低、时效性低、规则配置复杂与耗费人力等诸多问题，实现了业务指标毫秒级延迟与智能化检测，同时依托Flink实现了强大的容错机制。随着互联网的迅速发展，各个公司都建立了自己的监控体系，用于提前发现问题降低损失，携程亦是如此。然而携程的监控体系存在以下三个问题：监控系统繁多监控告警配置复杂没
【基于Flink的城市交通实时监控平台】需求四：车辆违法路径跟踪-使用FlinkSQL在Dlink写入HBase
qq_31412425的博客
06-23 473
通过Kafka发送模拟实时车辆JSON信息给Flink接收，FlinkSQL将实时车辆JSON信息与表中已经捕捉到的违规违章车辆做连接对比，选择出通过当前路段的违章记录车辆，将其存入HBase中。本次需求四案例，将基于当前模拟了两辆车在表中,稍后启动Kafka Topic-car时，只有在该表中的车，会被记录到HBase。
实时监控：基于流计算 Oceanus ( Flink ) 实现系统和应用级实时监控
cloudbigdata的博客
10-14 786
本文描述了如何使用腾讯云大数据组件来完成实时监控系统的设计和实现，通过对云服务器（CVM）的机器系统信息及App应用信息采集来实现 CPU、内存及应用消耗JVM情况实时监控告警，通过短信、电话、微信消息等方式实现实时反馈，高效地保障系统稳健运行。通过运用云化的Kafka、Flink、ES等组件，大大减少了开发运维人员的投入。 1 解决方案描述 1.1 概述 本方案结合腾讯云 Ckafka、流计算 Oceanus、腾讯云数据库 Elasticsearch、腾讯云 Prometheus等，通过Filebeat实
Flink实战-订单支付和对账情况监控（分别使用CEP和ProcessFunction来实现）
oMaFei的博客
01-31 1017
在电商网站中，订单的支付作为直接与钱挂钩的一环，在业务流程中非常重要。对于订单而言，为了正确控制业务流程，也为了增加用户的支付意愿，网站一般会设置一个支付失效时间，超过一段时间没支付的订单就会被取消。另外，对于订单的支付，还应该保证最终支付的正确性，可以通过第三方支付平台的交易数据来做一个实时对账 第一个实现的效果，实时获取订单数据，分析订单的支付情况，分别实时统计支付成功的和15分钟后支付超时的...
Flink(Pometheus监控)
S1124654的博客
08-08 3374
Flink(Pometheus监控)
最好用的flink监控平台是什么？
weixin_35749440的博客
01-13 204
Flink自带的监控平台是一个很好的选择，它提供了详细的任务运行信息和性能指标。此外，还有一些第三方监控平台也可以用来监控Flink作业，例如Prometheus + Grafana、DataDog、Zabbix等。这些监控平台可以提供更丰富的可视化功能和报警功能。 ...
从零开始构建第一个Flink项目
拜占庭GeekMake的博客
02-19 513
1、从零开始构建第一个Flink项目 1.1、构建项目 Flink项目依赖于Jdk8和maven环境，我们可以通过flink官方提供的maven archetype模板快速生成第一个项目 mvn archetype:generate \ -DarchetypeGroupId=org.apache.flink \ -DarchetypeArtifactId=flink-quickstart-java \ -DarchetypeVersion=1.11.0 \ -DgroupId
从0到1Flink的成长之路(一)
熊老二的博客
05-23 514
自学Flink,坚持坚持再坚持!!! Flink概述 前言 一、实时即未来 二、Flink官网 三、一切从Apache 开始 四、富二代 Flink 五、Flink 组件栈 六、Flink 四大基石 七、Flink 用武之地 1.Event-driven Applications 2.Data Analytics Applications 2.Data Pipeline Applications 八、扩展阅读：Flink 发展现状 1.Flink 在全球 2..
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

zhisheng_blog

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值