Flink-Standalone模式的配置及启动测试与查看

最新推荐文章于 2024-07-24 11:58:44 发布
最新推荐文章于 2024-07-24 11:58:44 发布
阅读量1.2k 收藏 1
点赞数
分类专栏： Flink模块化学习 文章标签： flink 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40180229/article/details/106303516
版权
本文详细介绍了Flink Standalone模式的配置过程，包括安装解压Flink，配置slaves文件，编辑flink-conf.yaml文件，并指导如何启动Flink集群。此外，还提到了若使用Yarn模式则需要额外的Hadoop jar包，但Standalone模式可以不依赖。最后，通过访问http://hadoop102:8081可以监控和管理Flink集群及其任务。
摘要由CSDN通过智能技术生成

安装解压

下载地址 ： https://flink.apache.org/downloads.html
这边注意得是：如果下以前得版本(https://archive.apache.org/dist/flink/flink-1.7.1/) 会发现
其中 flink-1.7.1-bin-scala_2.11.tgz 这种为纯净得版本，那种带hadoop27分别对应得是hadoop版本

在这里插入图片描述

如果下了纯净版本 flink-1.7.1-bin-scala_2.12.tgz 还需要下载与之对应得hadoop版本得jar包才能去做yarn提交，但是如果知识standalone模式可以不用导入这个jar，用纯净版得就行了，使用得话将这个jar包放到flink目录下得lib目录下

在这里插入图片描述
这边我使用的是flink-1.10.0-bin-scala_2.11.tgz，然后也下载了一下hadoop得jar包为后面得yarn模式先准备着

在这里插入图片描述

配置slaves文件

修改 /conf/slaves文件

最低0.47元/天 解锁文章
SmallScorpion
关注
专栏目录
Flink系列：Standalone高可用配置
NIO4444
07-17 464
目录 修改配置yaml 配置master 配置ZK 启动HA 修改配置yaml 配置master 配置ZK 启动HA 扩展 Flink系列：flink on yarn高可用配置https://xdoctorx.blog.csdn.net/article/details/118864534
说说Flink运行模式
学一次的博客
08-30 1607
与Per-Job-Cluster的区别：就是Application Mode下, 用户的main函数式在集群中执行的，并且当一个application中有多个job的话，per-job模式则是一个job对应一个yarn中的application，而Application Mode则这个application中对应多个job。一个Job会对应一个Flink集群，每提交一个作业会根据自身的情况，都会单独向yarn申请资源，直到作业执行完成，一个作业的失败与否并不会影响下一个作业的正常提交和运行。
Flink -3- 一文详解安装部署以及使用和调优（standalone 模式 | yarn 模式）
最新发布
苍煜
07-24 3089
Yarn Application 与Per-Job 模式类似，只是提交任务不需要客户端进行提交，直接由JobManager来进行任务提交，每个Flink Application对应一个Flink集群，如果该Flink Application有多个job任务，所有job任务共享该集群资源，TaskManager也是根据提交的Application所需资源情况动态进行申请。Flink可以基于Yarn来运行任务，Yarn作为资源提供方，可以根据Flink任务资源需求动态的启动TaskManager来提供资源。
谈一下纯java数据库hsqldb的standalone(in-process)模式
最爱pupi
01-09 548
在hsqldb的官方文档中，介绍standalone的篇幅很少，总共100多页的文档，这种模式只有不到一页。本来这种模式用到的机会比较小，但碰巧这两天看spring mvc（spring官方的那个step-by-step的例子），这个例子中的hsqldb正是运行在standalone模式下。 这种模式的特点有2个。 第一个特点，顾名思义，standalone。也就是这个数据库是可以不依赖其...
flink的三种部署方式的思考
m0_38028438的博客
08-24 1050
一. 目前最新版本flink 中的flink1.11 支持启动模式： （1） 以下三种是不同的基于yarn或者其他资源管理器的部署方式 session mode：启动一个flink cluster 对应yarn上一个applicationId 运行多个任务（job）client模式 per-job: 每个任务（job）都会启动一个cluster ，对应多个applicationId （client模式） application mode 每个任务（job）都会启动一个cluster，对应多个appli
2.flink三种运行模式
woshiwjma956的博客
03-02 523
2.flink三种运行模式
Flink-Standalone模式提交任务|配置Slots大小
SmallScorpion
05-23 3569
并行度设置 其中keyBy不能设置会报错，因为keyBy不属于一个常规的任务算子，不需要做计算，只是做一个规则匹配，按照字段第一个进行合并，其他的算子都可以用setParallelism()进行设置并行度(为一个任务的subtask的的个数) 将流式计算的WordCount进行打包 如果遇到错误可以更改一下maven的版本，与自己版本相对应进行打包 上传Jar到页面任务中 任务提交 查看任务状态 这里的任务只是一种提交的状态，并没有真正的启动任务，当资源不够会一直转圈圈(其中parallelism为
Flink部署-standalone模式
Xlucas的博客
11-30 5333
安装环境信息 flink-1.6.2-bin-hadoop27-scala_2.11.tgz hadoop-2.7.5 java 1.8 zookeeper 3.4.6 os:centos 6.4 1、下载 直接去flink的社区下载就可以了。http://flink.apache.org/downloads.html 2、解压 tar -zxvf flink-1.6.2-bin-hadoop...
Flink -- WEB && Standalone Clusters
qq_41301707的博客
03-21 462
目录1. Flink Web2. Flink Standalone Clusters 部署2.1 下载&&解压2.2 修改配置文件2.3 启动 Flink 集群2.4 提交一个应用程序 1. Flink Web Flink 对标 Spark，Spark 自带了一个 Web 页面可以查看 Job 的执行情况，Flink 运行过程中，查看打印的 Log 中没有发现对应的 Web。 Flink 中如果需要打开 WEB 页面，则需要添加一个依赖。 <dependency> &
Flink Standalone HA集群的安装配置
wjt199866的博客
07-22 1139
Flink集群有两种部署的模式，分别是Standalone以及YARNCluster模式。 Standalone模式：Flink必须依赖于ZooKeeper来实现JobManager的HA（Zookeeper 已经成为了大部分开源框架HA必不可少的模块）。在Zookeeper的帮助下，一个Standalone的Flink集群会同时有多个活着的 JobManager，其中只有一个处于工作状态，其他处于Standby状态。当工作中的JobManager失去连接（如宕机或Crash），ZooKeeper会从St
Flink的standalone模式集群启动的流程及注意事项
01-20
1.进行相应的解压操作之后，对flink-conf.yaml、slaves文件进行配置 vi flink-conf.yaml 2. vi slaves来设置子节点 3.将主节点配置的文件复制到其他节点上scp -r /flink-1.9.2/ root@192.168.198.131:/yanxiaobo/（133节点同此命令） 4.进入bin目录执行 ./start-cluster.sh启动集群 （之前要做好ssh免密设置，可以省去输密码的麻烦） 5.查看Web UI 输入通过浏览器访问flink主节点的8081端口 http://192.168.198.129:8081
【学会了学会了】Flink官网翻译——Standalone以及YARN部署
十二
01-04 940
flink官网翻译
好胖子带你学Flink系列-Flink源码剖析第一集Standalone启动脚本分析
百看不如一RUN
06-18 723
此时各位大佬，可以打开自己的flink源码，或者是下载好的Flink包以及centos上面的Flink软件中的bin目录。 在flink源码中，脚本所在的项目为flink-dist下的flink-bin目录，此时我们分析的就是start-cluster。 肯定很多朋友说为什么不看yarn提交，要看Standalone启动集群的方式，因为Standalone是每个计算框架都会存在的，例如yarn等都是为了兼容而做的，standalone这种方式才会真正的体现flink内部的一些核心框架的一些用法（因为比较
深入理解 Flink（五）Flink Standalone 集群启动源码剖析
weixin_44512041的博客
01-11 1708
对 Flink 架构拥有源码级理解是大数据实时计算从业人员的必备条件，从本章节开始，将按照 Flink 集群启动、Flink Job 提交、Slot 管理、Task 执行的顺序一一为读者展开 Flink 源码剖析。本章节重点介绍了 Flink 集群三大组件的启动流程，读者在进行分布式计算框架的设计时可以作为参照。
【Flink】Standalone运行模式
lxtx
11-23 1204
独立模式是独立运行的，不依赖任何外部的资源管理平台；当然独立也是有代价的：如果资源不足或者出现故障没有自动扩展或重分配资源的保证，必须手动处理。所以独立模式一般只用在开发测试或作业非常少的场景下。提前启动集群，并通过Web页面客户端提交任务（可以多个任务，但是集群资源固定）。
Flink Standlone集群搭建
胖虎儿的博客
07-10 7966
Flink Standlone集群搭建详细教程
linux查看某端口是否打开或启动
陈万洲的专栏
12-05 2343
方式一 netstat -tunlp | grep 5618 方式二 lsof -i:8080
Linux服务器查看内存使用情况
爱琴孩的博客
09-28 1158
前言 在日常开发或者生产环境，我们经常需要查看linux服务的内存使用情况，所以能熟练敲出命令能便于我们快速定位问题，这里来和大家一起学习linux的常用查看内存命令。 free命令 free命令显示系统使用和空闲的内存情况，包括物理内存、交互区内存(swap)和内核缓冲区内存。 很清晰明白的显示出了总内存多少，已使用多少，还剩下多少。这里可以看到Swap的used已使用了811Mb，服务器上跑了一个下载音频的进程，物理内存已经不够用了，所以从磁盘中虚拟出一部分的内存。当然我们可以使用free.
flink standalone模式启动流程
09-03
启动TaskManager的方式类似于启动JobManager，我们需要配置flink-conf.yaml文件，并使用命令行工具启动TaskManager。 一旦所有的节点启动成功，并且JobManager和TaskManager之间的通信设置正确，Flink standalone...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值