配置flink的standalone模式启动后只有一个节点起来~2021-10-29

最新推荐文章于 2024-08-19 15:37:48 发布
最新推荐文章于 2024-08-19 15:37:48 发布
阅读量1.8k 收藏 3
点赞数
文章标签： flink hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/heyianliunian/article/details/121039101
版权
本文讲述了在配置Apache Flink standalone模式时，由于误将conf文件中的'slaves'设置为'workers'，导致只有其中一个节点启动的问题。解决方法是修正配置并重新分发，确保正确使用'workers'。
摘要由CSDN通过智能技术生成

1.问题情况：配置flink的standalone模式启动后只有一个hadoop101节点起来,其他两个节点没起来

在这里插入图片描述

2.问题原因: flink 下的 conf 的slaves应该改为workers，我没有改，就没启动!

3.解决方法: 把slavers改为workers再分发以后启动就好了

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

何以安流年~
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Flink：start-cluster.sh启动单节点的时候taskmanager未启动
小白的专栏
02-24 3935
flink单节点配置的时候，通过start-cluster.sh启动集群，需要在conf文件夹下的slaves中添加localhost，默认是有这个配置的。有一次配置standalong 多节点集群后，重新清除配置，忘记添加了，导致单节点启动一直启动不起来tashmanager，这个问题还排查了好久。。。。。 记录下。。。。 ...
Flink基础 之 单节点集群搭建（Standalone Cluster）
飞朋的博客
09-18 2113
前提 软件前提 Flink 运行在所有类 unix 环境上，例如 Linux、Mac OS X 和 Cygwin(适用于Windows)，并期望集群由一个主节点和一个或多个工作节点组成。在开始安装系统前，请先在每个节点安装以下软件： Java1.8或更高版本 ssh 在所有集群节点上使用 ssh 免密登录和相同的目录结构将使用脚本控制一切。 JAVA_HOME配置 Flink 要求在主...
【Flink】Flink（一）单节点启动以及集群环境启动
JeffHan^_^的博客
04-26 1370
在进行Flink部署之前，我们需要事先准备好以下几个条件1.()两台虚拟机2.(推荐)固定以下两台Centos的IP可以参考下面文章3.(推荐)配置SSH免密登录参考下面文章4.()配置Java环境参考下面文章前半段5.()下载Flink安装包我这里下载的是flink1.17版本。
Flink本地启动与集群启动
qq_59336423的博客
06-22 7200
本地启动1. 下载安装包进入 Flink 官网，下载 1.13.0 版本安装包 flink-1.13.0-bin-scala_2.12.tgz，注意此处选用对 应 scala 版本为 scala 2.12 的安装包。2. 解压在 hadoop102 节点服务器上创建安装目录/opt/module，将 flink 安装包放在该目录下，并 执行解压命令，解压至当前目录。3. 启动进入解压后的目录，执行启动命令，并查看进程。 4. 访问 Web UI启动成功后，访问 http://hadoop102:8081，可
华为c80 flink集群节点隔离后取消隔离服务不能正常启动
weixin_43697701的博客
06-22 242
问题原因 任务运行中，若重启过flink服务，服务启动过程中会修改flink在hdfs上的目录权限及属组。 任务运行时，触发checkpoint时会判断判断该目录owner是否正确，若不属于当前运行用户，会导致任务写checkpoint失败。 1、在异常flink节点/opt/huawei/Bigdata/FusionInsight_Current/_FlinkResource/install/flink/sbin/flink-prestart.sh文件中搜索chmod，（**_根据环境中实际值调整）注释如
Flink集群
小学僧的博客
09-15 357
三个JobManager实例的集群图解 conf/flink-conf.yaml划重点 high-availability: zookeeper high-availability.storageDir: hdfs://master:9000/flink/ha/ high-availability.zookeeper.quorum: localhost:2181 ...
Flink的standalone模式集群启动的流程及注意事项
01-20
3.将主节点配置的文件复制到其他节点上scp -r /flink-1.9.2/ root@192.168.198.131:/yanxiaobo/（133节点同此命令） 4.进入bin目录执行 ./start-cluster.sh启动集群 （之前要做好ssh免密设置，可以省去输密码的麻烦...
Flink原理与实践-Flink的部署和配置.pdf
12-16
这种模式下，Flink集群由一个Master节点和多个Worker节点组成，Master节点负责协调 Worker节点进行作业执行。 在Standalone集群中，需要安装Java、配置SSH免密码访问，并配置Flink主目录的conf/flink-conf.yaml和...
Flink HA配置指南文档-v1.6.1
10-22
为了配置一个高可用的Flink Standalone集群，文档中提到了使用三台节点来搭建集群，其中包括两个JobManager实例（一个处于活跃状态，另一个处于备用状态）和至少一个TaskManager实例。通常情况下，TaskManager的数量...
flink-1.13.1 cdh6.3.2
07-24
4. **启动Flink服务**：通过`flink-yarn-session.sh`或`flink-standalone.sh`命令启动Flink服务。 5. **提交作业**：使用`FLINK_ON_YARN-1.13.1.jar`提交你的Flink作业到YARN。 6. **监控和管理**：通过Flink的Web...
Flink standalone安装
01-20
3. **配置复制**：如果在多台机器上部署，可以先在一个节点上配置好Flink，然后将整个配置目录复制到其他节点，确保所有节点的配置一致。 **三、启动Flink** 1. **启动集群**：在Flink的安装目录下，执行`bin/...
flink集群部署和常见问题解惑
海边无限的专栏
05-23 1549
安装hadoop集群 1、解压缩hadoop tar zxvf hadoop-2.7.7.tar.gz -C /usr/ 2、在 nd-00 ~ nd-02 配置环境变量 vim /etc/profile export HADOOP_HOME=/usr/hadoop-2.7.7 export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export PATH=...
flink- 错误：启动多个任务，只有个一任务执行
龍承leo
03-01 1827
环境：flink on yarn 问题描述：执行多个任务，只有个一任务执行，查看界面发现：显示没错 点开flink页面发现两个任务是同一个，而且只有这一个任务在执行。 问题解决： 因为配置了flink的高可用导致的，把flink-conf.yaml中高可用的配置注掉后能正常使用了 ...
flink1.10三节点集群standalone模式搭建
ASN_forever的博客
05-19 3109
各台机器上提前准备jdk1.8以及上的java环境，并且配置ssh免密登录。 集群环境 flink1:172.21.89.128 jobmanager flink2:172.21.89.129 taskmanager flink3:172.21.89.130 taskmanager 在flink1上做flink配置，主要是flink-conf.yaml、masters和slaves flink-conf.yaml： jobmanager.rpc.address: fl
深入flink系列——集群启动流程
PAN_Andy的博客
11-06 1369
本文主要梳理一下Flink on Yarn集群启动流程，主要关注各组件之间调用关系的源码梳理，期望对大家阅读Flink源码时把握整体流程有一定的帮助。
Flink之运行时环境
alex大喵的博客
06-28 1260
Flink 运行时环境由两种类型进程组成，JobManager和TaskManager JobManager，也称为 master，用于协调分布式执行。负责调度任务，检查点，失败恢复等。 TaskManager，也称为 worker，用于执行数据流图的任务（更准确地说，是计算子任务），并对数据流进行缓冲、交换。Flink 运行环境中至少包含一个任务管理器。 Flink作业流程 Flink...
（五）Flink Sink 数据输出
最新发布
springk的专栏
08-19 166
经过 Transformation 操作之后，最终形成用户所需要的结果数据集。通常情况下，用户希望将结果数据输出到外部存储介质或者传输到下游的消息中间件中，在 Flink 中，将 DataStream 数据输出到外部系统的过程被定义为 Sink 操作。
flink 消费 kafka subtask 分区策略
qq_18218071的博客
08-18 270
flink 与 kafka 的分区分配策略
flink standalone模式启动流程
09-03
总结起来，Flink standalone模式的启动流程可以简单描述为：配置好集群的信息和通信设置，启动JobManager和TaskManager节点，提交任务，JobManager分配并发送执行计划给TaskManager，TaskManager执行任务逻辑并返回...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值