Flink从入门到精通100篇（三）-如何利用InfluxDB+Grafana搭建Flink on YARN作业监控大屏环境

最新推荐文章于 2024-08-14 18:58:09 发布
最新推荐文章于 2024-08-14 18:58:09 发布
阅读量1.3k 收藏
点赞数
分类专栏： Flink从入门到精通100篇 文章标签： InfluxDB Grafana yarn flink 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wenyusuran/article/details/107905112
版权
本文介绍了如何利用InfluxDB和Grafana搭建Flink on YARN作业的监控环境。详细阐述了InfluxDB的安装配置、数据库创建、Flink Metrics Reporter的配置，以及Grafana的安装和数据源添加，提供了Flink Metrics Dashboard的示例。
摘要由CSDN通过智能技术生成

前言

虽然博主之前写过基于Prometheus PushGateway搭建Flink监控的过程，但是在我们的生产环境中，使用的是InfluxDB。InfluxDB是一个由Go语言写成的、由InfluxData部分开源的时序数据库，能够非常好地处理监控指标的存储和查询，配合Grafana即可简单地实现Flink作业metrics的收集与展示。本文简述配置过程及一些小问题。

硬件参数

新版InfluxDB的集群版是收费的，但是单点也足够我们存储较长时间的监控数据了。

  • CPU：Intel E5 v4 12C/24T

  • 内存：96GB

  • 硬盘：500GB SSD * 2

  • 网络：10Gbps

  • 操作系统：CentOS 7.5 64-bit

  • InfluxDB 1.8

  • Grafana 6.7.4

安装与配置InfluxDB

先下载RPM包，再用yum localinstall安装，可以自动解决依赖关系。

wget https://dl.influxdata.com/influxdb/releases/influxdb-1.8.0.x86_64.rpm
y
了解本专栏 订阅专栏 解锁全文
文宇肃然
关注
专栏目录
订阅专栏
【大数据技术攻关专题】「Apache-Flink零基础入门」手把手+零基础带你玩转大数据流式处理引擎Flink（基础概念解析+有状态的流式处理）
世界上并没有完美的程序，但是我们并不因此而沮丧，因为写程序就是一个不断追求完美的过程。
12-27 1249
Apache Flink 是业界公认的最佳流计算引擎之一，它不仅仅局限于流处理，而是一套兼具流、批、机器学习等多种计算功能的大数据引擎。Flink 的用户只需根据业务逻辑开发一套代码，就能够处理全量数据、增量数据和实时数据，无需针对不同的数据类型开发不同的方案。这使得 Flink 成为大数据处理领域中的一款强大工具，可以帮助您构建高效、可靠的大数据处理系统。希望通过本专题，让大家更全面地了解 Apache Flink 背后的技术，更加得心应手地使用Apache Flink。
xcode 模拟器调试直接进入沙盒
11-16
代码下下来,是出现My Mac直接点击Run然后,Build Success 后重启XCode 或者重启电脑,再打开程序,在Xcode菜单栏中选择File->Go to SandBox!->选择当前选择的模拟器,找到氮气项目,打开即时沙盒位置
influxdb无法查询tag_利用InfluxDB+Grafana搭建Flink on YARN作业监控大屏
weixin_39807859的博客
11-19 344
Flink 从入门到精通 系列文章前言虽然笔者之前写过基于Prometheus PushGateway搭建Flink监控的过程，但是在我们的生产环境中，使用的是InfluxDB。InfluxDB是一个由Go语言写成的、由InfluxData部分开源的时序数据库，能够非常好地处理监控指标的存储和查询，配合Grafana即可简单地实现Flink作业metrics的收集与展示。本文简述配置过程及一些小问...
构建企业级监控大屏 prometheus + grafana
最新发布
drea_mer的博客
08-14 747
通过拦截器实现 MetricInterceptor.java/*** 自定义指标上报*/@Override// 总计数 + 1// 处理中计数 +1@Overridetry {@Autowired@Override.addPathPatterns("/api/**") //拦截路径//排除路径@Bean。
利用InfluxDB+Grafana搭建Flink on YARN作业监控大屏
LittleMagic's Blog
06-17 1500
前言 虽然笔者之前写过基于Prometheus PushGateway搭建Flink监控的过程，但是在我们的生产环境中，使用的是InfluxDB。InfluxDB是一个由Go语言写成的、由InfluxData部分开源的时序数据库，能够非常好地处理监控指标的存储和查询，配合Grafana即可简单地实现Flink作业metrics的收集与展示。本文简述配置过程及一些小问题。 硬件参数 新版Influx...
Flink 1.14将数据写入InfluxDB 2.1.1
从大数据到人工智能的博客
01-02 1771
InfluxDB作为时序数据库，在与时间相关的数据记录中，发挥着巨大的作用。下文以flink为例，通过参考Flink第三方扩展（https://github.com/apache/bahir-flink/tree/master/flink-connector-influxdb2）. 自定义source将数据写入influxDB 2.1.1中。 在完成以下工作时，请确保您已经安装并配置了InfluxDB 2.1.1，如果您还未安装配置，可参考以下文章（https://lrting-top.blog.cs
Flink的几种监控方案以及对比
clz1314521的专栏
08-17 1240
目录 1，利用 API 获取监控数据 2，reporter 去上报监控数据，比如 JMXReporter、PrometheusReporter、PrometheusPushGatewayReporter、InfluxDBReporter、StatsDReporter 等 1，利用 API 获取监控数据 利用 Flink UI 提供的接口去定时获取到监控数据，相关 Rest API 可以查看官网链接：rest-api-integration 2，reporter 去上报监控数据，比如 JMXR.
大数据学习指南从入门到精通
Lansonli（蓝深李）的博客
05-21 2万+
利用框架的力量，看懂游戏规则，才是入行的前提大多数人不懂，不会，不做，才是你的机会，你得行动，不能畏首畏尾选择才是拉差距关键，风向，比你流的汗水重要一万倍，逆风划船要累死人的为什么选择学习大数据开发，不选择Java开发？借棋弈做比喻，智商高的不要选择五子琪，要选择围棋，它能长久地吸引你。不都是在棋盘上一颗黑子一颗白子地下吗?因为围棋更复杂，能够掌握如此复杂的技艺、产生稳定输出的棋手、让我们更佩服。选择学习大数据开发也如此，能让你的职业生涯走得更远，少走弯路。
Flink 在易车落地应用与实践-Flink Forward Asia 2021.pdf
04-29
易车采用了基于Prometheus和Grafana的监控系统，通过Flink APP、pushgateway、VictoriaMetrics和Hulk等工具实现全链路监控。监控系统能追踪任务状态、指标，及时发现问题并进行告警。然而，随着任务量的增长，...
Flink
wudidahuanggua的博客
10-06 683
flink介绍
iOS学习之iOS沙盒(sandbox)机制和文件操作(一)
热门推荐
空杯子
06-17 12万+
1、iOS沙盒机制 iOS应用程序只能在为该改程序创建的文件系统中读取文件，不可以去其它地方访问，此区域被成为沙盒，所以所有的非代码文件都要保存在此，例如图像，图标，声音，映像，属性列表，文本文件等。 1.1、每个应用程序都有自己的存储空间 1.2、应用程序不能翻过自己的围墙去访问别的存储空间的内容 1.3、应用程序请求的数据都要通过权限检测，假如不符合条件的话，不会被放行。     通过这张图只
ios 模拟器沙盒_ios沙盒，真机模拟器查看沙盒内容
weixin_35057726的博客
01-14 532
一、沙盒文件结构--Documents ------ 可以和iTunes共享，可以同步的--Library ------ 不共享给用户，存储用户默认设置和缓存等--Caches ------ 存储缓存--Preferences ------ 存储用户偏好设置--SystemData ------(这个目录暂时不知道用来...
iOS模拟器沙盒使用推荐
diaomu2002的博客
12-07 246
iOS沙盒路径的查看和使用 1、模拟器沙盒目录文件都在个人用户名文件夹下的一个隐藏文件夹里，中文叫资源库，他的目录其实是Library。因为应用是在沙箱（sandbox）中的，在文件读写权限上受到限制，只能在几个目录下读写文件：Documents：应用中用户数据可以放在这里，iTunes备份和恢复的时候会包括此目录tmp：存放临时文件，iTunes不会备份和恢复此目录，此目录下...
InfluxDB从入门到精通：快速上手
以梦为马
07-14 2091
InfluxDB是一个开源的时间序列平台。包括用于存储和查询的API，在后台为ETL或监控和告警处理数据，用户仪表盘，以及可视化和探索数据等。它由Go写成，致力于高性能时序型数据库，被广泛应用于存储系统的监控数据，loT行业的实时数据等场景。ETL，代表提取、转换和加载， 是一个数据集成过程，它将多个来源的数据结合到一个单一的、一致的数据存储库中，然后再将这个存储库装入到数据仓库或其他目标系统中。
iOS沙盒详解_技术成长笔记_新浪博客
u010783713的专栏
12-15 121
http://zhece.com 升级方案：IOS软件在APP STORE上升级的时候，只需把配置文件放在Document目录下，就可以。其他文件会随着版本的更新被替换掉。 IOS沙盒(sandbox)机制和文件操作(一) 0人收藏此文章,我要收藏发表于27天前(2012-07-14 19:40) , 已有280次阅读 共0个评论 1、IOS沙盒机制 IOS应用程序只...
【项目实战】Flink+InfluxDB+Grafana实现对YARN集群队列资源进行画像
大数据研习社
03-17 2027
以Flink项目实现为主线，重点讲解Flink项目相关的核心技术，包含Flink流式计算、InfluxDB时序数据库和Grafana数据可视化等。基础的学员能快速上手Flink进行项目开发，有大数据基础的学员也能快速掌握Flink核心技术并积累Flink实际项目经验。
Influxdb+Grafana打造Flink监控大盘
csdn问鼎
07-07 5064
Influxdb+Grafana打造Flink监控大盘Influxdb安装Grafana安装Flink配置Grafana配置报表 Influxdb安装 为什么选influxdb，每条记录都有一个时间戳，很适合这种统计的场景，当然还有其它原因 安装参考文档 注意事项 ,如果要在界面打开查询界面 需修改配置 /etc/influxdb/influxdb.conf [admin] # Deter...
iOS 获取模拟器上的沙盒路径
SoulKey的博客
12-21 2668
在工程里写上如下代码，打印出来 NSString *caches = [NSSearchPathForDirectoriesInDomains(NSCachesDirectory, NSUserDomainMask, YES) lastObject]; NSLog(@"caches:%@",caches); //caches:/Users/soul
Flink入门到精通：从基础到实战全解析
本视频教程是Flink入门到精通的全面指南，适合不同层次的学习者，从零基础小白到高级开发者都能在此找到所需的知识。课程内容丰富，涵盖了Flink框架的基础介绍、集群搭建与运维、数据处理流程的各个方面。 首先，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

文宇肃然

精神和物质鼓励你选一个吧

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值