提交Flink的jar包到Yarn上，web界面log报错

最新推荐文章于 2023-05-01 10:46:20 发布

晚宁5588

最新推荐文章于 2023-05-01 10:46:20 发布

阅读量2.9k

点赞数

分类专栏： Flink

本文链接：https://blog.csdn.net/piaoken5588/article/details/88558312

版权

在Hadoop环境下运行Flink批处理程序时，遇到Flink Web界面中TaskManager和JobManager日志出现错误。问题涉及到集群配置和Flink的提交模式。当JAR包大小超过一定阈值时，可能会出现YarnTaskExecutorRunner只显示一个的情况。此外，Flink HA配置中尽管只有一个master，但在提交任务时会随机选择JobManager。对于Flink on Yarn的进程分布，文章提供了详细的解答链接。

摘要由CSDN通过智能技术生成

在hadoop环境下运行flink的batch程序：

./flink run /home/hadoop/proj/wordcount.jar --input hdfs://mycluster/flinkProjectData/111.txt

一段时间后，flink的web界面上，taskmanager和jobmanager下的logs分别出现error：

taskmanager：

ERROR org.apache.flink.runtime.rpc.akka.AkkaRpcActor 
-caught exception while executing runnable in main thread.
......
Caused by:java.io.IOException:The rpc invocation size exceeds the maximum akka framesize.

jobmanager:

ERROR org.apache.flink.runtime.blob.BlobServerConnection GET operation failed

而且在master上出现了以下进程：

YarnTaskExecutorRunner
CliFrontend
FlinkYarnSessionCli

问：是否代表集群没有起到作用，仍然是单机在跑？

答：

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

晚宁5588

关注关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

【Flink】运行Flink 1.6.2 程序偶然报错 Premature end of GET request

九师兄

07-07

1022

1.背景在开发程序的时候，把flink程序运行在yarn上偶然报错 2020-07-07 17:54:33,253 INFO org.apache.flink.runtime.blob.Blobclient - Downloading null/t-da39a3ee5e6b4b0d3255bfef95601890afd80709-ee0f1f77ba06433fb43ea445eb03aa92 from 1.xx/xx.xx.0.xx:43365 2020-07-07 17:54:33,258 .

【Flink】Flink GET operation failed: Server side error 从blobserver下载错误

九师兄

12-20

854

flink 报错Flink GET operation failed: Server side error 从blobserver下载错误..根据报错找到报错的位置downloadFromBlobServer函数，该函数从给定的服务器下载给定的BLOB并将其内容存储到一个(本地)文件中。临时的BLOB文件在成功地将服务器的数据复制到给定的localJarFile之后被删除。可以看到这里下载，每次尝试会生成一个新的客户端，然后调用getInternal进行获取。

参与评论您还未登录，请先登录后发表或查看评论

yarn的WEB页面上不能看log日志

WuBoooo的博客

12-29

1083

要是yarn的WEB页面上不能看。就直接 yarn logs -applicationId applicationid_XXX_XX > XXX_XX.txt

hadoop yarn web无法访问

新的开始的专栏

10-11

6787

hadoop集群正常启动后，hdfs的web可以访问，但是yarn的web页面无法访问，查看yarn的日志，也是正常启动，没有异常日志，后来以为端口的问题，查看端口的时候，发现了不同： 8088对应的local Address是docker本身的ip，和50070对应的是不一样，然后在yarn-site.xml添加配置：  <property> <name>yarn.resou...

【奇奇怪怪bug】Flink 1.10 on yarn ,application 在yarn 显示Running ，webui 显示Failed

Zsigner的博客

08-20

2804

今天产品气势汹汹的跑过来跟我说，生产环境的实时程序不对啊！！！！添加数据一直看不到展示开始不可能三连：1.不可能吧，早上还好端端的 2.不可能会出问题的，可能是网络延迟 3.不可能出不来啊，是不是你没清缓存，你清缓存试试看打发了产品回去之后，立马登上去看 1.排查 1.1 yarn 运行的好端端的,没收到电话跟短信是正常的（ps：这里加了监控实时任务挂掉的话是会电话短信通...

flink启动后web访问问题

lubingxue7048的专栏

11-01

5036

在执行./start-cluster.sh 后，flink进程的监听ip端口是。这样只能本机进行访问，外部服务器是访问不了的，出现这个问题的原因是flink的。所以启动后就解析到127.0.0.1了。, 进程启动时会按照这个主机名从。

记一次程序获取亚马逊数据二进制binlog日志报错问题

云深海阔专栏

01-14

713

问题： java.io.IOException: Failed to fetch BLOB 9b69d279c3a7cdaae08d23a0f0d9a920/p-5ae7557ca12a1681fb3fb69bca9123a587dd5ddf-bf5920e88811d56d7bcedf872b67de60 from localhost/127.0.0.1:14563 and store it under /tmp/blobStore-26d0f946-9b6f-4114-9f03-b9d647d44f4d

Flink1.11 脚本提交任务yarn以及java代码提交任务到yarn执行实践

qq_31866793的博客

09-10

4819

1,我们先看官网，一起从官网看起 https://ci.apache.org/projects/flink/flink-docs-release-1.11/zh/ops/deployment/yarn_setup.html 2，看到上图，我就忽略第一个模式了，在正式生产环境我们一般推崇第二种模式，或者第三种模式 3，查看执行参数命令 ./bin/flink run --help Action "run" compiles and runs a program. Syn...

Flink提交任务至yarn

热门推荐

asfjgvajfghaklsbf的博客

09-29

2万+

在flink on yarn模式中，flink yarn-session的两种提交方式 1.公用一个yarn-session 在yarn中初始化一个flink集群，开辟指定的资源，以后提交任务都向这里提交。这个flink集群会常驻在yarn集群中，除非手工停止。 2.每个job提供一个yarn-session 每次提交都会创建一个新的flink集群，任务之间互相独立，互不影...

flink实战 -- flink on yarn 任务日志收集与监控

阿华田的博客

09-02

3696

背景在 Flink on yarn 的模式下,taskManager的日志会存储到所在的DataNode上,当 Flink 任务发生异常，产生异常日志时，需要我们第一时间感知任务已经出现异常，避免影响业务。因此我们需要将Flink任务的日志实时收集起来，出现异常日志立刻报警，做的真正意义上的实时报警，而不是等flink任务掉线了在发出报警。收集到了任务日志，即使任务掉线了也方便我们通过日志定位问题。日志收集方案在 Flink 1.1...

【Flink】FLink session yarn kerberos认证报错 PortUnreachableException: ICMP Port Unreachable

九师兄

05-01

858

本篇博客是在上一篇博客：【Flink】FLink session yarn kerberos认证报错 KrbException: Cannot locate default realm还没找到原因的时候做的一次尝试。因为项目需要，我们需要对接华为认证的yarn集群，运行flink任务，我们的任务分为两种，yarn pre-job模式和flink session模式。我们在配置文件中配置如下# kerberos认证需要的东西提交任务的脚本如下。

FlinkSQL报错：org.apache.flink.util.FlinkException: Could not upload job files.

yuchendejiyi的博客

03-31

6728

1、首先我使用的Flink版本 Flink1.12.0 2、出现错误场景在进行Flink和Hive（3.1.2）版本进行集成，通过sql-client.sh embedded来执行（select * from emp）语句时出现此错误信息 ---> 报错信息 ---> 分析 org.apache.flink.util.FlinkException: Could not upload job files 这个错误较为笼统，根据这个定位会很模糊，值得注意的是下面的报错： 20

95-862-045-源码-runtime-blob-BlobService

九师兄

10-04

220

1.视界 BlobService 负责具体的文件管理，其具体实现有两个：BlobServer 和 BlobCache，具体见下图： 2.拓扑图 3.BlobServer 使用来存储Client端提交的Flink program jar, jobGraph file, JM 的所有services ，和所有的TM都连接同一个BlobServer （可以是LocalDisk， HDFS, S3 , 或其他的 Blob数据库）读取这些数据。 ...

Flink中遇到的问题

index_test的博客

02-24

2827

解决遇到的一些问题

Caused by: java.io.IOException: 您的主机中的软件中止了一个已建立的连接。

WGH100817的博客

06-06

3833

异常详情 2017-07-16 10:55:26,218 ERROR [500.jsp] - java.io.IOException: 你的主机中的软件中止了一个已建立的连接。 org.apache.catalina.connector.ClientAbortException: java.io.IOException: 你的主机中的软件中止了一个已建立的连接。 at org....

Caused by: java.io.IOException: Keystore was tampered with, or password was incorrect

qq_25100219的博客

07-30

4536

启动yarn-session时上报的错误 java.io.IOException: Failed to initialize SSLContext for the blob server at org.apache.flink.runtime.blob.BlobServer.(BlobServer.java:201) at org.apache.flink.runtime.jobmanager.J...

95-860-040-源码-定时器-SystemProcessingTimeService简介

九师兄

09-28

166

1.世界 2.概述 flink 中的定时器，顾名思义，定时器就是用户指定一个未来的时间，当时间到达的时候，会调用用户设置的回调函数。flink 中的进程时间定时器和事件时间定时器都依赖于底层的 ProcessingTimeService。 3.SystemProcessingTimeService 3.1 拓扑图 3.2 概述 SystemProcessingTimeService 继承了 ProcessingTimeService，它是一个 flink 提供的默认的进程时间服务，Syste

flink jar包 java.lang.noclassdeffounderror jar报错