Flink-1.13.1 Taskmanager 跑不起来

最新推荐文章于 2024-07-24 10:08:29 发布
最新推荐文章于 2024-07-24 10:08:29 发布
阅读量911 收藏 1
点赞数 1
分类专栏： 大数据 Flink 文章标签： 大数据 flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43627083/article/details/118076603
版权
在尝试启动Flink集群时，遇到Taskmanager无法启动的问题。通过检查发现配置文件slaves被重命名为workers。修改workers文件，添加Taskmanager的hostname，并在各节点同步文件后，重新启动集群，问题得到解决。
摘要由CSDN通过智能技术生成

修改 slaves文件后, 使用./bin/start-cluster.sh, 发现 Taskmanager 没起来.

仔细看了一下./conf文件夹, 看到一个 workers 文件, 一猜就是 slaves 改名了.
修改 workers, 加入 Taskmanager 的 hostname.

再运行 ./bin/start-cluster.sh(在这之前把文件在各节点同步一下), 问题解决.
在这里插入图片描述

SOLE ONE
关注
专栏目录
Flink系列：集群master（JobManagers ）、worker（TaskManagers）
NIO4444
05-31 1491
Flink 运行时包含两类进程： JobManagers（也称为masters）协调分布式计算。它们负责调度任务、协调 checkpoints、协调故障恢复等。 每个 Job 至少会有一个 JobManager。高可用部署下会有多个 JobManagers，其中一个作为leader，其余处于standby状态。 TaskManagers（也称为workers）执行 dataflow 中的tasks（准确来说是 subtasks ），并且缓存和交换数据...
Flink集群standalone模式 Master节点StandaloneSessionClusterEntrypoint启动后，Slave节点TaskManagerRunner无法启动的解决办法
zhengzaifeidelushang的博客
11-15 3840
Flink集群standalone模式 Master节点StandaloneSessionClusterEntrypoint启动后，Slave节点TaskManagerRunner无法启动的解决办法 bigdata1是Master节点，bigdata2、bigdata3是Slave节点，在bigdata1执行Flink集群启动命令start-cluster.sh后，Slave节点TaskManagerRunner无法启动。 解决方法： Slave节点的内存有限，因此需要确保flink-conf.yaml配置
Flink：start-cluster.sh启动单节点的时候taskmanager未启动
小白的专栏
02-24 4066
flink单节点配置的时候，通过start-cluster.sh启动集群，需要在conf文件夹下的slaves中添加localhost，默认是有这个配置的。有一次配置standalong 多节点集群后，重新清除配置，忘记添加了，导致单节点启动一直启动不起来tashmanager，这个问题还排查了好久。。。。。 记录下。。。。 ...
flink初学者踩坑系列：flink无法启动taskmanager
fangment1的博客
01-02 1001
使用普通用户启动flink，taskmanager不运行，有可能是因为普通用户没有权限，切换成root用户就没问题。
Flink：standalone模式下start-cluster.sh之后taskmanager没起来
Jodness' Blogs
08-15 7707
我的版本：Flink1.7.2、jdk1.8.0_201 下午照着Flink官网部署了一下standalone模式，通过start-cluster.sh命令启动Flink集群后发现只有StandaloneSessionClusterEntrypoint进程起来了，并没有TaskManagerRunner，并且8081网页中taskmanager个数为0 后来查看了taskmanager节点lo...
flink 一个节点TaskManagers启动失败
Li_Jian_Hui_的博客
07-17 3719
去当前节点查看Log 日志： Java HotSpot™ 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000c6600000, 966787072, 0) failed; error=‘Cannot allocate memory’ (errno=12) There is insufficient memory for the Java Runtime Environment to continue. Native memory all
flink-1.13.1-bin-scala_2.12.tgz
06-04
fink安装包 下载地址https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.13.1/flink-1.13.1-bin-scala_2.12.tgz
flink-1.13.1 cdh6.3.2
07-24
《Flink 1.13.1 在 CDH 6.3.2 上的部署详解》 Apache Flink 是一个开源的流处理框架，提供低延迟、高性能的实时数据处理能力。版本1.13.1是Flink的一个重要里程碑，它引入了多项优化和改进，增强了稳定性和用户体验...
Flink安装及部署
YLKai_的博客
06-24 2259
（1） 下载flink：flink-1.13.1-bin-scala_2.11.tgzhttps://flink.apache.org/downloads.html（2）上传flink到linux本地模式安装 | Apache Flinkconf/master conf/workers flink-conf.yaml Stream测试案例: Batch测试案例： 2. Flink 架构 https://ci.apache.org/projects/flink/flink-docs-release-1.13/
Flink的集群的搭建
qq_40870024的博客
12-11 4419
部署方式分类 1.Local 本地部署 2. Standalone 使用Flink自带的资源调度平台进行任务的部署 3. Standalone-HA高可用的部署方式 4. Yarn 部署 1. Local 本地部署 应用场景：开发环境 部署步骤： 设置 JDK运行环境 配置 SSH 免密登录 下载并解压缩 Flink-1.13.1 到 /export/server 修改配置文件 jobmanager.rpc.address: node1 开启flink环境查看web UI监控 开启集群 [root@n
[Flink]一、Flink1.13
weixin_44428807的博客
07-01 1055
1. Flink简介1.1 Flink的起源和设计理念flink项目的核心目标：数据流上的有状态计算（Stateful Computations over Data Streams)。时间驱动：来一个事件处理一个事件；流处理的流水线；流&批数据分析具体定位是：Apache Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink 被设计在所有常见的集群环境中运行，以内存执行速度和任意规模来执行计算。1.2 Flink的应用。
在 Windows 搭建 flink 运行环境并模拟流数据处理
最新发布
明而决之
07-24 2714
在大数据场景中，开发者追求高效与灵活，Linux 系统以其稳定性成为众多组件的首选，但在资源有限的情况下，在本机搭建一个 Linux 虚拟机集群却显得过于笨重，启动、运行占资源，需要配置网络，无法和windows共享资源，尤其是对只有 8GB 内存的 Windows 系统用户来说，内存压力显而易见。尽管如此，也挡不住一个学习者的“热情”。本文介绍怎么在 Windows 本地搭建 Flink 环境，注意这是一个伪分布式的测试环境。
【FLink】FLink 流任务一直 卡在 RUNNING 或者 初始化状态
九师兄
12-09 2216
有一次我在flink运行的时候因为要调试，然后在open方法中执行了一个sleep方法，导致任务一直卡着或者在初始化状态中上诉代码，测试完忘记该回去了，结果一直错误。
Flink本地模式启动时Task Managers启动失败
Jon2os0on的博客
03-10 9517
环境： 修改前 启动命令：/usr/local/src/flink-1.7.2 启动信息：Starting cluster. Starting standalonesession daemon on host basic. Starting taskexecutor daemon on host basic. ...
Flink集群的启动
先云的博客
01-01 4971
导读：记录一下Flink源码的阅读过程 Flink版本：1.4.2 1.start-cluster.sh   集群启动的脚本，在脚本中通过运行jobmanager.sh和TMSlaves start来启动JobManager和TaskManager。其中TMSlaves定义在config.sh中。 2.config.sh   这里只看一下TMSlaves()函数，可以看到其是通过调用ta...
轻松涨薪：新一代流批一体Flink1.13新特性尝鲜
传智播客的专栏
06-10 265
　　大数据带给我们的是一种生活、工作和思维上的大变革，Flink已经成为高薪大数据工程师的必备技能，越早掌握，越能占得红利。对于已经在做大数据的同学来说，Flink让你轻松提薪；尚未入行大...
Flink1.13优势一览
GavinKai
10-30 744
1.13包括一系列重要改动使用户可以更好的理解流作业的性能。当流作业的性能不及预期的时候，这些改动可以使用户可以更好的分析原因。这些改动包括用于识别瓶颈节点的负载和反压可视化、分析算子热点代码的 CPU 火焰图和分析 State Backend 状态的 State 访问性能指标。 Flink1.13.1其中一些比较重要的修改包括： 被动扩缩容 分析应用的性能 瓶颈检测与反压监控 Web UI 中的 CPU 火焰图 State 访问延迟指标 通过Savepoint来切换Sate Back
记一次Flink任务无限期INITIALIZING排查过程
Daphnis的博客
03-07 1831
环境：Flink-1.16.1，部署模式：Flink On YARN，现象：Flink程序能正常提交到 YARN，Job状态是 RUNNING，而 Task状态一直处于 **INITIALIZING**，排查思路有...
Flink 任务数无法启动 java.net.UnknownHostException: slave1: 未知的名称或服务 Total Task Slots 0
托塔天王的博客
03-30 3548
今天去搭建Flink的页面控制器 当我使用启动命令 如下: [root@web flink-1.14.4]# cd flink-1.14.4 [root@web flink-1.14.4]# ./bin/start-cluster.sh [root@web flink-1.14.4]# jps 9613 StandaloneSessionClusterEntrypoint 10413 Jps 9886 TaskManagerRunner 然后我打开页面 默认IP:8081 结果如图: 图中可
Flink 1.13.1 在 CDH6.3.2 环境中的部署指南
资源摘要信息:"flink-1.13.1和cdh6.3.2" 知识点一：Apache Flink介绍 Apache Flink是一个开源流处理框架，用于对无界和有界数据流进行有状态的计算。Flink的设计初衷是提供低延迟、高吞吐以及准确性的数据处理能力...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值