异常被抛出（不被catch）会导致flink任务挂掉

最新推荐文章于 2023-11-02 15:22:02 发布
最新推荐文章于 2023-11-02 15:22:02 发布
阅读量2.6k 收藏 1
点赞数
分类专栏： 云计算/大数据 文章标签： flink 异常 空指针
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/matrix_google/article/details/107389497
版权

背景：

实时效果数据中map的每条数据处理都需要一个单例的对象，这个单例对象的初始化在open方法中

在map每次计算前都会判断此单例对象是否存在，如果不存在希望flink任务挂掉

 

思路：

如果发现对象为null，抛出异常，不catch

空指针异常是运行时异常的子集，抛出哪个都可以，只是空指针异常语义更明确

 

代码如下

 

线上测试

线上部署之后，在task日志，jobManager日志，Exception日志中均发现了空指针异常

flink任务在反复重试几次之后失败（这需要几分钟时间），符合预期

千淘万漉
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Flink的checkpoint配置详解
worldchinalee的博客
07-31 6575
实例： StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); // start a checkpoint every 1000 ms env.enableCheckpointing(1000); // advanced options: // set mode to exactly-once (this is the default) env.getCheckpointConfig()
shell脚本， flink job挂掉自动从上一个checkpoint重启
u012447842的博客
06-13 2914
Flink job中使用MapState缓存数据，保存在Rocksdb里，当Flink job 挂掉后，从最近成功的checkpoint恢复重启，不丢失缓存数据。
flinkx抛出异常的情况下（脏数据），怎么结束这个flinkx的进程
吃素的哈士奇de博客
07-15 340
因为处理脏数据的问题类BaseRichOutputFormat 类BaseRichOutputFormat
【flink】Task 故障恢复详解以及各重启策略适用场景说明
最新发布
hiliang521的博客
11-02 1784
【flink】Task 故障恢复详解以及各重启策略适用场景说明
如何基于Flink+TensorFlow打造实时智能异常检测平台
02-24
本文整理自携程实时计算负责人潘国庆在QCon全球软件开发大会(北京站)2019的演讲，他介绍了携程如何基于Flink与TensorFlow构建实时智能异常检测平台，以解决规则告警系统准确率低、时效性低、规则配置复杂与耗费人力...
flink任务调度器
06-20
在Flink中，任务被分解为一系列的算子（operators），这些算子通过数据流（data streams）连接起来形成一个数据处理拓扑，即JobGraph。 **任务调度器的作用** 1. **资源管理**：任务调度器负责分配任务到可用的...
基于Flink的安全数据分析与异常检测.pdf
12-03
安全领域的数据分析与异常检测的特点与要求 安全领域的数据处理流程 基于ELK的日志收集及分析方案 基于ELK的日志收集及分析方案 基于Flink的数据分析与异常检测基本方案 FLINK的使用场景
grafana-Flink 任务监控.json
05-24
grafana上Flink 任务监控使用的json文件，基于flink-1.15.x版本
big-whale:Spark、Flink等离线任务的调度以及实时任务的监控
05-13
巨鲸任务调度平台为美柚大数据研发的分布式计算任务调度系统，提供Spark、Flink等批处理任务的DAG调度和流处理任务的运行管理和状态监控，并具有Yarn应用管理、重复应用检测、大内存应用检测等功能。 服务基于Spring...
Flink从检查点和保存点恢复Job的命令
qq_38750273的博客
07-14 1202
Flink从检查点和保存点恢复Job作业的命令
flink执行任务运行10h以后挂掉并且报错
信徒博客
03-27 1948
我觉得可能是1、因为代码错误运行时间长了有bug，这个是最有可能的(90%) 当时默认的内存是1G，不可能存在着内存不够的原因。我用了hadoop的集群的yarn，以及分析了taskmanager和jobmanager的内存大小、以及分析每个错误的原因。2、没仔细分析Log日志，很多时候想要节省时间走捷径，但是发现走的都是弯路。flink运行jar包任务，运行几个小时或者1天以后，任务就会挂掉！flink-conf.yaml 优先使用flink集群有的jar包。flink集群的slot分配有问题。
快速开始flink的学习
m0_37813354的博客
10-11 463
目录 1：初识Flink 1.1 Flink是什么： 1.2 unbound/bound data： 1.3 API layered： 1.4 Flink运行环境多样化： 1.5 业界流处理框架对比： 1.6 使用案列： 1.7 发展趋势： 1.8如何高效学习Flink： 2快速上手开发第一个Flink程序 3编程模型核心及其概念 3.1 Flink编程模型...
flink实战--开发中常见的错误与问题
热门推荐
阿华田的博客
12-19 2万+
常见错误集 1.Checkpoint失败：Checkpoint expired before completing env.enableCheckpointing(1000L) val checkpointConf = env.getCheckpointConfig checkpointConf.setMinPauseBetweenCheckp...
【日常Exception】第三十回：Flink异常NoResourceAvailableException: Could not acquire the minimum required resour
Yangy的博客
12-17 1729
热门系列： 程序人生，精彩抢先看 日常异常，是否也有你似曾相识的那一个 1、问题 接上篇，【日常Exception】第二十九回：Flink启动异常之java.net.UnknownHostException: xxxx: Name or service not known​​​​​​n 之后，又报出了一个如下问题： java.util.concurrent.CompletionException: org.apache.flink.runtime.jobmanag...
Flink中遇到的问题
index_test的博客
02-24 2619
解决遇到的一些问题
Flink提交运行中常见问题总结，Flink开发问题汇总
mojolang
01-24 6161
Flink开发问题汇总 一、flink里面能调用图算法吗？ 二、Cannot instantiate user function 三、本地idea开发flink程序并本地运行读取HDFS文件 四、The assigned slot container_e08_1539148828017_15937_01_003564_0 was removed 五、java.util.concurrent.TimeoutException: Heartbeat of TaskManager with id contain
Flink项目开发、上线全流程报错集合加处理办法（持续更新，附原因解决办法）
weixin_42642502的博客
09-27 4310
1、由于自己启动任务用的是root用户、未使用FlinkProject 用户产生以下报错 org.apache.flink.client.program.ProgramInvocationException: Could not retrieve the execution result. (JobID: 9ebe0758cd287126758d57b15fb5e5a3) at org.apache.flink.client.program.rest.RestClusterClient.submitJob
Flink中常见的几种异常
weixin_44519124的博客
10-09 2815
问题一： Exception in thread “main” org.apache.flink.table.api.TableException: Could not instantiate the executor. Make sure a planner module is on the classpath at org.apache.flink.table.api.java.internal.StreamTableEnvironmentImpl.lookupExecutor(StreamTableE
写一个flink任务挂掉从检查点自动重启的shell脚本
05-24
可以使用以下脚本实现： ```bash #!/bin/bash JOB_NAME="your_job_name" # 替换为你的任务名称 CHECKPOINT_DIR="hdfs://your/checkpoint/dir" # 替换为你的检查点目录 FLINK_BIN="/path/to/flink/bin" # 替换为你的 Flink 安装目录 # 启动 Flink 任务 start_job() { $FLINK_BIN/flink run -d -s $CHECKPOINT_DIR/$JOB_NAME/chk-xxxx -c your.job.class.name /path/to/your/jar } # 检查 Flink 任务状态 check_job_status() { status=$($FLINK_BIN/flink list | grep $JOB_NAME | awk '{print $4}') echo "Job status: $status" if [ "$status" == "RUNNING" ]; then return 0 elif [ "$status" == "RESTARTING" ]; then return 1 else return 2 fi } # 主循环 while true; do # 检查任务状态 check_job_status case $? in 0) echo "Job is running"; sleep 60;; 1) echo "Job is restarting"; sleep 60;; 2) echo "Job is not running, starting job"; start_job;; esac done ``` 脚本中的 `$JOB_NAME`、`$CHECKPOINT_DIR` 和 `$FLINK_BIN` 需要替换为你的实际值。其中，`$JOB_NAME` 是你的 Flink 任务名称，`$CHECKPOINT_DIR` 是你的检查点目录，`$FLINK_BIN` 是 Flink 的安装目录。你需要将脚本保存为一个文件，并使用 `chmod +x` 命令添加执行权限。然后，你可以通过运行该脚本启动你的 Flink 任务，并在任务挂掉时自动重启。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值