用了 History Server，妈妈再也不用担心我的 Flink 作业半夜挂了

已于 2022-05-12 10:17:57 修改
阅读量862 收藏 5
点赞数
分类专栏： 大数据实时计算引擎 Flink 实战与性能优化 文章标签： 大数据 hadoop mapreduce java flink
于 2020-10-15 08:41:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tzs_1041218129/article/details/109108353
版权

点击上方 "zhisheng"关注, 星标或置顶一起成长

Flink 从入门到精通 系列文章

前言

Flink On YARN 默认作业挂了之后打开的话，是一个如下这样的页面：

作业失败后

对于这种我们页面我们只能查看 JobManager 的日志，不再可以查看作业挂掉之前的运行的 Web UI，很难清楚知道作业在挂的那一刻到底发生了啥？如果我们还没有 Metrics 监控的话，那么完全就只能通过日志去分析和定位问题了，所以如果能还原之前的 Web UI，我们可以通过 UI 发现和定位一些问题。

History Server 介绍

那么这里就需要利用

了解本专栏 订阅专栏 解锁全文
zhisheng_blog
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
【Flink】Flink 源码之 安全认证 kerberos 认证
九师兄
01-16 4121
1.概述 这篇文章转载：Flink 源码之 安全认证 非常巧合的是，我上周用了2-4天才完成flink安全认证，还是没有搜过，任何安全相关的代码，完成了。结果今天就看到了。 本篇分析下Flink安全认证部分的处理方式。主要为Kerberos认证相关内容。下面从配置项开始分析。 2.SecurityConfiguration 此类包含了Flink安全认证相关的配置项。它们的含义如下： zookeeper.sasl.disable：是否启用Zookeeper SASL。 security.kerber.
使用flink-connector-sqlserver-cdc 2.3.0把数据从SQL Server实时同步到MySQL中
06-25
使用flink-connector-sqlserver-cdc 2.3.0把数据从SQL Server实时同步到MySQL中。
Flink学习笔记
君永夜
08-27 1112
前言：Flink是当前主流的实时计算框架，阿里的Blink重构了Flink即能做全量数据的批处理，也能做增量数据的实时处理；大数据的业务数据处理分为两个步骤：全量数据批计算，以及增量数据的实时计算，有时处理的业务逻辑是一致的但是代码确是两套，繁琐；当前主流的大数据实时计算框架有： Spark Streming、Kafka Streaming、Storm、Flink、Blink（阿里双十二的主流实时...
hadoop 配置历史服务器historyserver
weixin_43205308的博客
03-30 478
这里的mapred-site的路径要注意自己hadoop安装的路径。创建hadoop /input和cls.txt文件。/root/cls.txt是linux服务器的路径。1、修改mapred-site.xml。启动文件可以看具体根据自己安装路径。4、启动histroyserver。运行例子，要注意jar包名称和路径。2、分发给其他两台服务器。
spark history server配置
leofionn的博客
03-22 340
spark history server的相关属性配置通过修改$SPARK_HOME/conf下的spark-default.conf文件来设定的官方文档地址：http://spark.apache.org/docs/latest/monitoring.html 相关 spark-default.conf 调优参数：属性名称 默认值 含义 sp...
Hadoop is not in the classpath/dependencies. The extended set of supported File Systems via Hadoop i
微电子学与固体电子学-俞驰
06-06 2186
2020-06-06 16:01:08,671 INFO org.apache.flink.core.fs.FileSystem - Hadoop is not in the classpath/dependencies. The extended set of supported File Systems via Hadoop is not available. 2020-06-06 16:01:08,706 INFO org.apache.flin...
flink实战--HistoryServer配置与应用
阿华田的博客
10-15 1590
背景 回想一下，在实际线上开发flink任务时是否存在这样需求，flink实时任务夜间掉线了，此时我们再去查看yarn的页面最多也只能查看JobManager 的日志了，像检查点，处理的数据量，水印等指标如果没有Metrics监控，那么很遗憾这些信息就丢失了，对我们分析任务出现的bug很不友好，此时flink的HistoryServer出现了，本文将详细介绍HistoryServer的配置与使用。 HistoryServer flink任务停止后，JobMan...
Flink 1.17教程：历史服务器History Server
最新发布
学亮编程手记
09-01 447
容器化部署是如今业界流行的一项技术，基于Docker镜像运行能够让用户更加方便地对应用进行管理和运维。容器管理工具中最为流行的就是Kubernetes（k8s），而Flink也在最近的版本中支持了k8s部署模式。基本原理与YARN是类似的，具体配置可以参见官网说明，这里我们就不做过多讲解了。
Flink on Kubernetes
12-04 3267
零、flink on k8s 示意图 https://nightlies.apache.org/flink/flink-docs-release-1.11/ops/deployment/native_kubernetes.html 一、目标 运行 flink 任务到 kubernetes，flink on kubernetes。 参考 https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/deployment/resource-pr
maven assembly 打包插件，打一个完整jar包，亲测可用
糯米鸡的博客
12-18 634
<build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-compiler-plugin</ar...
Flink1.14.4自定义flink-connector-jdbc连接SQLServer和SAP数据库
07-08
Flink1.14.4自定义flink-connector-jdbc连接SQLServer和SAP数据库
flink-server-docker一键部署
12-10
使用docker-compose 一键安装flink, 以及flink-ui 无需修改内容，可以一键启动，一键销毁，无需占用资源 flink 版本1.13.0
flink-connector-jdbc扩展-支持基于SQL Client写入 SQLServer
05-15
支持基于Flink SQL Client写入SQLServer，仅需创建connector='jdbc'即可，建表语句配置示例如下： ) WITH ( 'connector' = 'jdbc', 'driver' = 'com.microsoft.sqlserver.jdbc.SQLServerDriver', 'url' = '...
flink1.14的jdbc连接器增加oracle和sqlserver的数据源类型
05-05
flink1.14的jdbc连接器增加oracle和sqlserver的数据源类型，通过重写getUpsertStatement方法，将连接器进行扩展
0017-Spark的HistoryServer不能查看到所有历史作业分析
Hadoop_SC的博客
11-19 963
温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。 1.问题描述 Spark的HistoryServer能正常查看之前的历史作业日志，但新提交的作业在执行完成后未能在HistoryServer页面查看。 2.问题复现 1.分别使用root和ec2-user用户执行作业 2.通过sparkHistory Server可以正常查看到所有历史作业 3.将/user/spark/app...
Flink HistoryServer配置（简单三步完成）
weixin_44500374的博客
01-14 2671
#HistoryServer 允许您查询JobManager存档的已完成作业的状态和统计信息。(官网原话) 最适合用于：了解 flink过去完成任务的状态，以及有状态作业的恢复（保存了最后一次的checkpoint地址） 官网地址：https://ci.apache.org/projects/flink/flink-docs-release-1.11/monitoring/historyserver.html 官网配置参数：https://ci.apache.org/projects/flink/flink
阿里云 搭建flink 后 web界面可以访问 但是没有task manager节点存活
qq_43039301的博客
11-14 2999
现象 : flink web界面可以访问 但是没有task manager节点存活 查看启动日志 : 报错 failed to bind to /0.0.0.0:6123, shutting down Netty transport 2019-11-07 16:31:45,150 INFO org.apache.flink.runtime.entrypoint.ClusterEntrypoi...
Apache Flink 零基础入门（二十一）Flink HistoryServer概述与配置
vincent_duan的专栏
09-23 1571
之前我们做了Flink的开发，开发完成之后就需要进行监控。 Flink 有一个History Server可以在相关Flink 集群关闭之后，还可以查看一些信息。也就是一些作业运行完成之后，可以用History Server查看运行的统计信息。同时，还暴露了一些RestAPI，允许http进行请求。 修改配置文件conf/flink-conf.yaml： jobmanager.archive....
Flink 1.13 cdc 任务 on yarn 日志查询详解
qq_31866793的博客
01-15 4882
目录 一，正常部署之后，flink on yarn 任务查看 二，shell命令查看具体日志 三，开启historyserver 四，使用yarn的restfulApi查看信息 五，总结： 一，正常部署之后，flink on yarn 任务查看 1，正在运行任务： 2，杀死任务之后： 3，我们点击History按钮 进入页面： 这并不是我们想要的效果，so，我们要看看具体的操作。 二，shell命令查看具体日志 在shell命令执行：..
flink operator 部署 flink history server
05-21
Flink History Server 是一个用于显示 Flink 作业历史记录的 Web UI。要部署 Flink History Server，您可以按照以下步骤进行操作： 1. 首先，确保已经启动了 Flink 集群，并且 Flink 作业已经成功地运行过。 2. 下载并解压缩 Flink 发行版，找到 `bin` 目录下的 `historyserver.sh` 脚本。 3. 在命令行中运行 `historyserver.sh` 脚本，如下所示： ``` ./historyserver.sh start ``` 这将启动 Flink History Server 进程。 4. 等待一段时间，直到 Flink History Server 启动完成。然后，在浏览器中输入 `http://<history_server_host>:8080`，即可访问 Flink History Server 的 Web UI。 在 Web UI 中，您可以查看 Flink 作业的历史记录、作业的状态和计数器信息等。 注意：如果您的 Flink 集群是通过 YARN 或 Mesos 等资源管理器来启动的，则需要将 Flink History Server 部署到相同的资源管理器上。在这种情况下，您需要将 `historyserver.sh` 脚本提交到 YARN 或 Mesos 集群上，而不是在命令行中直接运行。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

zhisheng_blog

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值