Flink-Connecting to remote task manager ‘/192.168.xx.xx:34144‘ has failed.

九点就要睡觉

已于 2024-02-18 14:10:34 修改

阅读量486

点赞数 7

文章标签： flink 大数据

于 2024-01-01 14:11:17 首次发布

本文链接：https://blog.csdn.net/m0_63715045/article/details/135324501

版权

文章讲述了用户在启动Flink集群时遇到的连接问题，原因在于从节点防火墙未关闭。通过临时关闭和永久禁用防火墙，解决了任务提交错误并成功在WebUi中看到任务运行。

摘要由CSDN通过智能技术生成

Flink集群启动时，发现2个从节点都有TaskManagerRunner任务进程，然而提交任务时却报错连接不上。

经检查，发现从节点的防火墙没关

在两个从节点先后输入

systemctl stop firewalld （关闭防火墙）

systemctl disable firewalld （永久关闭防火墙）

之后重新提交flink任务就不会发现报错

去到Flink的Web Ui界面就会发现提交的任务成功在运行

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

九点就要睡觉

关注关注

7
点赞
踩
8

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

【Flink】connection indicates remote task manager was lost

九师兄

07-03

3145

参考：https://blog.csdn.net/u012164361/article/details/95315521。原本一个好好地程序，是Flink 1.9写的，但是要升级为flink 1.10的时候，发现性能降低了20%。参考：https://blog.csdn.net/moewifj/article/details/89220402。本次是因为我们是统计流任务，然后统计的数据量太大了，而且窗口太大，导致使用的内存过多，然后挂了。一网友也遇到了这个问题，但是他的报错是这样的。

【Flink】Flink 任务报错 akka remote connection TooLongFrameException adjusted frame length discarded

九师兄

12-22

3311

taskmanager一直报这个告警，运行一段时间后taskmanager会挂了，这是什么原因导致的？错误如下看起来是netty传输的时候帧太大了。目前尝试把内存调大一点，任务还算稳定，但告警还在。然后去看看源码，在flink所有源码中查询只发现一个地方配置了参数但是这个参数，又好像被排除了请看下面这里这个插件的使用请参考：然后查看这个参数的说明/**可以看到这个参数默认的值1.25MB，但是被弃用了，建议使用，我们去看看这个参数有啥用。这个参数在定义如下/**

参与评论您还未登录，请先登录后发表或查看评论

ctp join java 崩溃_有时会出现运行Flink内置程序的情况异常：java.io.IOException： join频道失败...

weixin_39616798的博客

02-27

409

我已经建立了一个flink Standalone cluster，有一个主集群和三个从集群，都是sesulinux机器。在主仪表板中http://flink master：8081/我可以看到我设置的3个任务管理器和3个任务槽taskmanager.numberOfTaskSlots：1英寸火石-确认.yaml所有的奴隶。当我运行flink内置程序时，比如示例/流/迭代.jar，我经常例外：jav...

Flink 作业报错——TaskManager连接不上

lm223的博客

08-13

1267

Flink 作业报错——TaskManager连接不上

flink-Connecting to remote task manager ‘/192.168.1.*:*‘ has failed.

Number_1412的专栏

07-29

1597

flink taskmanager报错Connection refused

flink初学者踩坑系列：flink无法启动taskmanager

fangment1的博客

01-02

1002

使用普通用户启动flink，taskmanager不运行，有可能是因为普通用户没有权限，切换成root用户就没问题。

Flink使用Rocksdb状态后端任务运行一段时间后挂掉

一个不安分的程序员

04-11

3069

问题描述：由于需要存储大量状态信息，在使用Flink Sql开发实时计算作业时配置RocksDB做为状态后端，任务起初运行良好，运行一段时间后有任务偶发性出现失败，（使用yarn logs -applicaitonId）查看作业日志发现以下异常信息： org.apache.flink.runtime.io.network.netty.exception.RemoteTransportException: Connection unexpectedly closed by remote task m

flink-shaded-hadoop-3-uber-3.1.1.7.1.1.0-565-9.0.jar

11-16

Flink-1.11.2与Hadoop3集成JAR包，放到flink安装包的lib目录下，可以避免Caused by: org.apache.flink.core.fs.UnsupportedFileSystemSchemeException: Hadoop is not in the classpath/dependencies.这个报错，实现...

flink无法连接yarn- Connecting to ResourceManager at /0.0.0.0:8032

饶一熊的博客

04-09

4985

org.apache.hadoop.yarn.client.RMProxy - Connecting to ResourceManager at /0.0.0.0:8032 问题 flink-session启动无法连接到hadoop的resourceManager 尝试重新连接Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 0 time(s)失败. 2021-03-19 07:43:15,103 WARN org.apache

flink-1.10.0-bin-scala_2.11.tgz

05-05

本压缩包`flink-1.10.0-bin-scala_2.11.tgz`是为支持Scala 2.11版本编译的二进制发行版，包含了运行Flink所需的所有核心组件和库。 1. **Flink架构**：Flink的核心架构包括DataStream API和DataSet API，用于处理...

Connecting to ResourceManager at /0.0.0.0:8032

weixin_45075077的博客

09-17

9616

今天在学习spark on yarn调优发现，从spark启动任务出现了 Connecting to ResourceManager at /0.0.0.0:8032的错误。当前集群配置如下：单核2G内存 node002 namenode,datanode,zookeeper,zkFc,journalnode,resourcemanager,nodemanager,worker，historys...

【Flink】Flink行报错 : java: 无效的标记: --add-exports=java.base/sun.net.util=ALL-UNNAMED

九师兄

07-19

1584

参考文章：Flink设计与实现核心原理与源码解析张利兵.pdf 中想运行flink任务，然后发现报错在执行的flink源码的时候, 报错 :java: 无效的标记: --add-exports=java.base/sun.net.util=ALL-UNNAMED。

Flink通过Java API提交作业到keberos认证的Yarn

最新发布

h6lkj的专栏

03-05

1662

Flink通过Java API提交作业到keberos认证的Yarn

java Flink（一）实现数据集简单demo

qq_40771567的博客

03-23

2105

今天开始学习Flink，入手第一个Flink数据集demo 功能：把文件中的单词进行分词，统计个数基本思路：读取文件内容-》数据集-》数据集统计二元组输出（word，count） 1、构建maven Flink项目引入Flink依赖 <dependencies> <dependency> <groupId>org.apache.flink</groupId> <artif

Flink本地集群部署启动&常见问题的解决方法

Appreciate(欣赏)

07-16

2618

访问页面http://localhost:8081/#/overviewi页面slots卡槽数正确展示说明启动成功。解决方法：设置taskmanager和jobmanager允许所有机器连接。启动成功taskmanager会出现如下进程。启动集群在jobmanager那台机器启动。启动成功jobmanager会出现如下进程。解决方法，检查以下配置是否正确。

聊聊flink的ConnectionManager

weixin_34128411的博客

02-26

169

序本文主要研究一下flink的ConnectionManager ConnectionManager flink-release-1.7.2/flink-runtime/src/main/java/org/apache/flink/runtime/io/network/ConnectionManager.java public inte...

Flink1.12源码解读—— Netty通讯模式

ws0owws0ow的博客

03-11

1494

Apache Flink作为国内最火的大数据计算引擎之一，自身支持高吞吐，低延迟，exactly-once语义，有状态流等特性，阅读源码有助加深对框架的理解和认知。在之前解析过的Flink物理执行图（一）和Checkpoint过程中我们能看到过程中涉及到了数据的存储和交互，并且在后面分析Task运行任务时也会涉及到频发的数据使用和交互，所以这章主要是解析下Flink自带的内存管理机制和基于Netty的通讯模式已便于加深对它的理解。 Flink底层通讯中各组件的通讯使用的Akka（可参考https://

Flink服务器无响应,apache-flink

weixin_36350547的博客

08-07

756

在这种情况下，我们有3个kafka主题(每个主题有50个分区)，它们具有不同的消息，而所有这些消息都具有“用户名”字段，topic_1 --> Message01 {String username; ...}, about 50,000 messages per minutetopic_2 --> Message02 {String username; ...}, about 3,00...

https://archive.apache.org/dist/flink/flink-1.17.0/flink-1.17.0-bin-scala_2.12.tgz https://repo.maven.apache.org/maven2/org/apache/flink/flink-sql-connector-elasticsearch7/3.0.1-1.17/flink-sql-connector-elasticsearch7-3.0.1-1.17.jar https://repo1.maven.org/maven2/com/ververica/flink-sql-connector-mysql-cdc/2.1.0/flink-sql-connector-mysql-cdc-2.1.0.jar https://repo1.maven.org/maven2/com/ververica/flink-sql-connector-postgres-cdc/2.1.0/flink-sql-connector-postgres-cdc-2.1.0.jar 这四个链接版本兼容吗

06-02

这四个链接的版本兼容性需要具体分析。其中，`flink-1.17.0-bin-scala_2.12.tgz` 和 `flink-sql-connector-elasticsearch7-3.0.1-1.17.jar` 都是针对 Flink 1.17.0 版本的，因此它们的版本兼容性是没有问题的；而 `flink-sql-connector-mysql-cdc-2.1.0.jar` 和 `flink-sql-connector-postgres-cdc-2.1.0.jar` 都是针对 Ververica CDC Connectors 2.1.0 版本的，因此它们的版本兼容性也是没有问题的。但是，由于 Flink 和 Ververica CDC Connectors 都会不断更新和升级，因此如果你使用的是其他版本的 Flink 和 Ververica CDC Connectors，那么它们的版本兼容性就需要具体分析了。