配置flink的standalone模式启动后只有一个节点起来~2021-10-29

最新推荐文章于 2022-11-06 20:07:07 发布
VIP文章 最新推荐文章于 2022-11-06 20:07:07 发布
阅读量1.7k 收藏 3
点赞数
文章标签： flink hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/heyianliunian/article/details/121039101
版权

1.问题情况：配置flink的standalone模式启动后只有一个hadoop101节点起来,其他两个节点没起来

在这里插入图片描述

2.问题原因: flink 下的 conf 的slaves应该改为workers，我没有改，就没启动!

3.解决方法: 把slavers改为workers再分发以后启动就好了

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

何以安流年~
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Flink之运行时环境
alex大喵的博客
06-28 1231
Flink 运行时环境由两种类型进程组成，JobManager和TaskManager JobManager，也称为 master，用于协调分布式执行。负责调度任务，检查点，失败恢复等。 TaskManager，也称为 worker，用于执行数据流图的任务（更准确地说，是计算子任务），并对数据流进行缓冲、交换。Flink 运行环境中至少包含一个任务管理器。 Flink作业流程 Flink...
Flink集群从节点TaskManager启动分析(standalone)
最新发布
weixin_44852067的博客
04-01 1194
TaskManager 是 Flink 集群的工作进程，执行数据流的具体计算，称之为"Worker"。Flink集群必须至少有一个TaskManager；每一个TaskManager都包含了一定数量的任务槽(task slots)。Slot是资源调度的最小单位，slot的数量限制了TaskManager能够并行处理的任务数量。启动之后，TaskManager会向资源管理器注册它的slots；
flink-web：Apache Flink网站
02-05
网页链接 该存储库包含Flink网站： : 。 您可以在以下位置找到此存储库的说明： : 。 在本地测试更改 您可以使用如下所示的Docker来构建网站（而无需增加主机环境）。 作为此调用的一部分传递的参数将转发到build.sh 。 # starts website with future post being disabled bash docker-build.sh -p # starts website including also future posts bash docker-build.sh -f 这两个命令都将启动一个通过http://0.0.0.0:4000提
apache-doris-flink-connector-1.11_2.12-1.0.3
05-05
Flink Doris Connector（apache-doris-flink-connector-1.11_2.12-1.0.3-incubating-src.tar.gz） Flink Doris Connector Version：1.0.3 Flink Version：1.11 Scala Version：2.12 Apache Doris是一个现代MPP分析数据库产品。它可以提供亚秒级查询和高效的实时数据分析。通过它的分布式架构，高达10PB级的数据集将得到很好的支持，易于操作。 Apache Doris可以满足各种数据分析需求，包括历史数据报告、实时数据分析、交互式数据分析和探索性数据分析。让您的数据分析更容易!
Flink的standalone模式集群启动的流程及注意事项
01-20
1.进行相应的解压操作之后，对flink-conf.yaml、slaves文件进行配置 vi flink-conf.yaml 2. vi slaves来设置子节点 3.将主节点配置的文件复制到其他节点上scp -r /flink-1.9.2/ [email protected]:/yanxiaobo/（133节点同此命令） 4.进入bin目录执行 ./start-cluster.sh启动集群 （之前要做好ssh免密设置，可以省去输密码的麻烦） 5.查看Web UI 输入通过浏览器访问flink主节点的8081端口 http://192.168.198.129:8081
flink-table-planner-2.12-1.14.3-API文档-中文版.zip
04-07
赠送jar包：flink-table-planner_2.12-1.14.3.jar 赠送原API文档：flink-table-planner_2.12-1.14.3-javadoc.jar 赠送源代码：flink-table-planner_2.12-1.14.3-sources.jar 包含翻译后的API文档：flink-table-planner_2.12-1.14.3-javadoc-API文档-中文(简体)版.zip 对应Maven信息：groupId：org.apache.flink，artifactId：flink-table-planner_2.12，version：1.14.3 使用方法：解压翻译后的API文档，用浏览器打开“index.html”文件，即可纵览文档内容。 人性化翻译，文档中的代码和结构保持不变，注释和说明精准翻译，请放心使用。
Flink集群
小学僧的博客
09-15 294
三个JobManager实例的集群图解 conf/flink-conf.yaml划重点 high-availability: zookeeper high-availability.storageDir: hdfs://master:9000/flink/ha/ high-availability.zookeeper.quorum: localhost:2181 ...
Flink本地启动与集群启动
qq_59336423的博客
06-22 6495
本地启动1. 下载安装包进入 Flink 官网，下载 1.13.0 版本安装包 flink-1.13.0-bin-scala_2.12.tgz，注意此处选用对 应 scala 版本为 scala 2.12 的安装包。2. 解压在 hadoop102 节点服务器上创建安装目录/opt/module，将 flink 安装包放在该目录下，并 执行解压命令，解压至当前目录。3. 启动进入解压后的目录，执行启动命令，并查看进程。 4. 访问 Web UI启动成功后，访问 http://hadoop102:8081，可
flink集群部署和常见问题解惑
海边无限的专栏
05-23 1484
安装hadoop集群 1、解压缩hadoop tar zxvf hadoop-2.7.7.tar.gz -C /usr/ 2、在 nd-00 ~ nd-02 配置环境变量 vim /etc/profile export HADOOP_HOME=/usr/hadoop-2.7.7 export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export PATH=...
flink- 错误：启动多个任务，只有个一任务执行
龍承leo
03-01 1739
环境：flink on yarn 问题描述：执行多个任务，只有个一任务执行，查看界面发现：显示没错 点开flink页面发现两个任务是同一个，而且只有这一个任务在执行。 问题解决： 因为配置了flink的高可用导致的，把flink-conf.yaml中高可用的配置注掉后能正常使用了 ...
flink1.10三节点集群standalone模式搭建
ASN_forever的博客
05-19 2944
各台机器上提前准备jdk1.8以及上的java环境，并且配置ssh免密登录。 集群环境 flink1:172.21.89.128 jobmanager flink2:172.21.89.129 taskmanager flink3:172.21.89.130 taskmanager 在flink1上做flink配置，主要是flink-conf.yaml、masters和slaves flink-conf.yaml： jobmanager.rpc.address: fl
apache-doris-flink-connector-1.14_2.12-1.0.3
05-05
Flink Doris Connector（apache-doris-flink-connector-1.14_2.12-1.0.3-incubating-src.tar.gz） Flink Doris Connector Version：1.0.3 Flink Version：1.14 Scala Version：2.12 Apache Doris是一个现代MPP分析数据库产品。它可以提供亚秒级查询和高效的实时数据分析。通过它的分布式架构，高达10PB级的数据集将得到很好的支持，易于操作。 Apache Doris可以满足各种数据分析需求，包括历史数据报告、实时数据分析、交互式数据分析和探索性数据分析。让您的数据分析更容易!
flink 部署模式和运行时架构（会话模式、单作业模式、应用模式，JobManager、TaskManager，YARN 模式部署以及运行时架构）
热门推荐
不是一枚开发
06-01 6万+
  会话模式，需要先启动一个集群，保持一个会话，在这个会话中通过客户端提交作业。集群启动时所有资源就已经确定，所以所有提交的作业会竞争集群中的资源。   集群的生命周期是超越于作业之上的，作业结束了就释放资源，集群依然正常运行。当然：因为资源是共享的，所以资源不够了，提交新的作业就会失败。另外，同一个 TaskManager 上可能运行了很多作业，如果其中一个发生故障导致 TaskManager 宕机，那么所有作业都会受到影响   会话模式  单作业模式是严格的一对一，集群只为这个作业而生。由客户端运行应
Flink源码解析（三）TaskManager启动分析
Yuan_CSDF的博客
07-30 1324
1、Flink主节点TaskManager启动分析： TaskManager是Flink的worker节点，它负责Flink中本机slot资源的管理以及具体task的执行。 TaskManager上的基本资源单位是slot，一个作业的task最终会部署在一个TM的slot上运行，TM会负责维护本地的slot资源列表，并来与FlinkMaster和JobManager通信。 根据前面的启动分析：TaskManager的启动主类：TaskManagerRunne...
006_flink源码分析-taskmanager的启动
colossus——bigdata的专栏
05-06 517
TaskManagerRunner 启动源码分析 taskmanger TaskManager 是 Flink 的从节点，它负责 Flink 中集群的worker节点上 slot 资源的管理以及具体 task 的执行。TaskManager 上的基本资源单位是 slot，一个作业的 task 最终会部署在一个 TaskManager 的 slot上运行，TaskManager 会负责维护本地的 slot 资源列表，并来与 Flink Master节点 和作业的主节点 JobMaster 通信。 public
深入flink系列——集群启动流程
PAN_Andy的博客
11-06 1306
本文主要梳理一下Flink on Yarn集群启动流程，主要关注各组件之间调用关系的源码梳理，期望对大家阅读Flink源码时把握整体流程有一定的帮助。
华为c80 flink集群节点隔离后取消隔离服务不能正常启动
weixin_43697701的博客
06-22 230
问题原因 任务运行中，若重启过flink服务，服务启动过程中会修改flink在hdfs上的目录权限及属组。 任务运行时，触发checkpoint时会判断判断该目录owner是否正确，若不属于当前运行用户，会导致任务写checkpoint失败。 1、在异常flink节点/opt/huawei/Bigdata/FusionInsight_Current/_FlinkResource/install/flink/sbin/flink-prestart.sh文件中搜索chmod，（**_根据环境中实际值调整）注释如
Flink：start-cluster.sh启动单节点的时候taskmanager未启动
小白的专栏
02-24 3657
flink单节点配置的时候，通过start-cluster.sh启动集群，需要在conf文件夹下的slaves中添加localhost，默认是有这个配置的。有一次配置standalong 多节点集群后，重新清除配置，忘记添加了，导致单节点启动一直启动不起来tashmanager，这个问题还排查了好久。。。。。 记录下。。。。 ...
flink standalone模式启动流程
09-03
Flink standalone模式是一种使用Apache Flink进行分布式计算的方式。它使用了集群模式，其中一个节点担任JobManager的角色，负责接收和调度任务，其他节点担任TaskManager的角色，负责执行任务。 当我们启动Flink standalone模式时，首先我们需要启动JobManager。在启动JobManager之前，我们需要配置flink-conf.yaml文件，其中包括JobManager的地址和端口号等信息。然后，我们使用命令行工具来启动JobManager，通过命令"bin/start-cluster.sh"执行。启动成功后，我们可以在日志中看到JobManager的地址和端口号。 接下来，我们需要启动一些TaskManager节点来执行任务。我们可以在不同的机器上启动多个TaskManager节点，以便实现并行计算。启动TaskManager的方式类似于启动JobManager，我们需要配置flink-conf.yaml文件，并使用命令行工具启动TaskManager。 一旦所有的节点启动成功，并且JobManager和TaskManager之间的通信设置正确，Flink standalone集群就可以正常工作了。 当我们提交一个Flink任务时，它首先会通过JobManager获得一个执行计划。执行计划描述了任务的整体结构和执行流程。然后，JobManager会将计划发送给TaskManager，并启动任务的执行。 在任务执行过程中，JobManager负责监控任务的进度，并负责任务的恢复和故障处理。TaskManager负责实际执行任务的计算逻辑，并将中间结果发送给其他的TaskManager或JobManager。任务执行完成后，JobManager会汇总结果并返回给客户端。 总结起来，Flink standalone模式的启动流程可以简单描述为：配置好集群的信息和通信设置，启动JobManager和TaskManager节点，提交任务，JobManager分配并发送执行计划给TaskManager，TaskManager执行任务逻辑并返回结果，JobManager汇总结果并返回给客户端。整个过程中，JobManager负责任务的调度和监控，TaskManager负责任务的执行和结果的传输。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值