flink启动命令参数_Flink客户端操作

最新推荐文章于 2024-07-24 11:58:44 发布
最新推荐文章于 2024-07-24 11:58:44 发布
阅读量846 收藏
点赞数
文章标签： flink启动命令参数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_34458671/article/details/113384832
版权
本文详细介绍了Flink的各种客户端操作，包括命令行、SQL Client、Scala Shell、RESTful API和Web界面。重点讲解了Flink命令行的启动集群、提交任务、查看任务列表、停止和取消任务，以及savepoint与checkpoint的区别。同时，还提到了Yarn模式下的任务提交和Scala Shell的使用方法。
摘要由CSDN通过智能技术生成

参考学习别人的Flink客户端操作内容。

概要

Flink 提供了丰富的客户端操作来提交任务和与任务进行交互，包括 Flink 命令行，Scala Shell，SQL Client，Restful API 和 Web。Flink 首先提供的最重要的是命令行，其次是 SQL Client 用于提交 SQL 任务的运行，还有就是 Scala Shell 提交 Table API 的任务。同时，Flink 也提供了Restful 服务，用户可以通过http 方式进行调用。此外，还有 Web 的方式可以提交任务。

在 flink 安装目录的 bin 目录下面可以看到有 flink, start-scala-shell.sh 和 sql-client.sh 等文件，这些都是客户端操作的入口。

Flink 命令行

flink -h

输入 flink – h 能看到完整的说明：

flink run -h

查看具体某一个命令的参数。这里是看run命令的具体参数。

启动 standalone 集群

bin/start-cluster.sh

run

bin/flink run -d examples/streaming/TopSpeedWindowing.jar

默认是1个并发

可以在web界面的task Manager下面的stdout查看输出内容。

也可以通过本地日志查看: *.out日志文件

list

查看任务列表

bin/flink list

可以在后面加上flink的端口号

最低0.47元/天 解锁文章
瑞科翻译
关注
【FLink源码】 1.13 3 种 命令客户端 Generic CLI 、 yarn-cluster、DefaultCLI使用
一杯咖啡半杯糖的博客
11-21 928
综上所述，对于三种Cli，Generic CLI mode、yarn-cluster mode、default mode，无法同时使用，源码使用顺序为Generic CLI mode优先判断，接着是 yarn-cluster mode ，最后是default mode，所以对于三种Cli的参数，不能混用，否则会出现命令不生效的情况，例如下面的参数。Flink在执行命令行提交flink的时候会用到 flink安装目录bin目录下的flink脚本，输入flink -h 可以看到flink如何提交格式。
flink启动命令参数_Flink命令行 - 1.10
weixin_33699970的博客
12-24 1947
本篇文章大概3155字，阅读时间大约8分钟结合Flink官方文档，整理关于Flink命令行的操作参数，包含命令行接口和Scala Shell1文档编写目的整理Flink官方文档中命令行接口和scala-shell的内容在Flink1.10.1集群上进行实操Flink命令行Command-Line InterfaceScala Shell2Command-Line InterfaceFlink的命...
flink run 参数_Flink集群部署
weixin_42513602的博客
12-03 2914
大数据成神之路：点我去成神之路系列目录^_^Flink入门Flink DataSet&DataSteam API1部署方式一般来讲有三种方式：LocalStandaloneFlink On Yarn/Mesos/K8s… 2Standalone部署上一节我们讲了单机模式如何部署启动，这节我们基于CentOS 7虚拟机搭建一个3个节点的集群：角色分配： Master: 192.168.246...
Flink -3- 一文详解安装部署以及使用和调优（standalone 模式 | yarn 模式）
最新发布
苍煜
07-24 3019
Yarn Application 与Per-Job 模式类似，只是提交任务不需要客户端进行提交，直接由JobManager来进行任务提交，每个Flink Application对应一个Flink集群，如果该Flink Application有多个job任务，所有job任务共享该集群资源，TaskManager也是根据提交的Application所需资源情况动态进行申请。Flink可以基于Yarn来运行任务，Yarn作为资源提供方，可以根据Flink任务资源需求动态的启动TaskManager来提供资源。
flink启动命令参数_flink启动命令参数_基于Flink的实时数据仓库实践分享
weixin_31758621的博客
02-06 893
作者：沈午飞 目前就职于科技开发部创新中心 java和python编程技术方向 主要服务于数据中台。金融行业作为典型的流式计算应用领域，涵盖了包括用户行为分析、实时营销、个性化推荐、实时风控、实时反欺诈等多个计算场景。以实时金融风控场景为例，需要流式计算系统实时分析海量的用户行为数据，根据既定的规则计算出相应的指标，并与风险模型进行匹配，第一时间判断风险等级、发现异常事件，并作出相应的风险控制措施...
Flink 参数配置和常见参数调优
yang灬仔
07-27 4197
Flink参数配置 jobmanger.rpc.address jm的地址。 jobmanager.rpc.port jm的端口号。 jobmanager.heap.mb jm的堆内存大小。不建议配的太大，1-2G足够。 taskmanager.heap.mb tm的堆内存大小。大小视任务量而定。需要存储任务的中间值，网络缓存，用户数据等。 taskmanager.numberOfTaskSlots slot数量。在yarn模式使用的时候会受到yarn.scheduler.maximum-allo
flink命令行参数
04-08
Apache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台，它能够基于同一个Flink运行时，提供支持流处理和批处理两种类型应用的功能。
flink启动命令参数_flink使用和启动
weixin_39576066的博客
01-26 9299
Flink是一个针对流数据和批数据的分布式处理引擎。它主要是由Java 代码实现。Flink可以支持本地的快速迭代，以及一些环形的迭代任务。并且Flink 可以定制化内存管理。因此相对于spark不容易出现OOM (outof memory)。flink的特性:支持高吞吐、低延迟、高性能的流处理，spark Streaming无法支持低延迟，storm无法支持高吞吐支持带有事件时间的窗口(Wind...
flink 传参 启动_如何在flink中传递参数
weixin_42311349的博客
12-30 1972
众所周知，flink作为流计算引擎，处理源源不断的数据是其本意，但是在处理数据的过程中，往往可能需要一些参数的传递，那么有哪些方法进行参数的传递？在什么时候使用？这里尝试进行简单的总结。使用configuration在main函数中定义变量1 //Class in Flink to store parameters2 Configuration configuration = newConfigu...
flink 客户端操作.pdf
05-21
flink 客户端操作, 各种命令, sql clinet 操作 等等都在文档里有
flink启动命令参数_Flink快速上手(QuickStart)
weixin_31233537的博客
01-14 869
安装：下载并启动下载从下载页面(http://flink.apache.org/downloads.html)下载所需的二进制包。你可以选择任何与 Hadoop/Scala 结合的版本。比如 Flink for Hadoop 2。启动一个local模式的Flink集群启动一个local模式的Flink集群非常地简单，我们可以按照以下的步骤来操作：1、进入到下载的目录；2、解压下载的文件；3、启动F...
flink命令行参数启动
君子以自强不息
08-31 1万+
业务中使用flink来统计不同维度的数据，记录下使用中遇到的问题（包括jar包的启动、停止、获取命令行参数）。
flink启动命令参数_Flink中bin/flink命令参考
weixin_36217920的博客
01-14 966
bin/flink./flink [OPTIONS] [ARGUMENTS]The following actions are available:Action "run" compiles and runs a program.Syntax: run [OPTIONS] "run" action options:-c,--class Class with the...
flink启动命令参数_Flink 集群-任务容器化
weixin_35742845的博客
01-03 844
1 Overview/path/to/flink/flink-container/docker ├── Dockerfile ├── README.md ├── build.sh ├── docker-compose.yml ├── docker-entrypoint.sh └── test-job-cluster.sh 0 directories, 6 filesFlink Dockerfil...
flink常用参数说明
热门推荐
暮紫的笔记本
03-03 1万+
一、flink run参数： flink run命令执行模板：flink run [option] -c,–class : 需要指定的main方法的类 -C,–classpath : 向每个用户代码添加url，他是通过UrlClassLoader加载。url需要指定文件的schema如（file://） -d,–detached : 在后台运行 -p,–parallelism : job需要指定env的并行度，这个一般都需要设置。 -q,–sysoutLogging : 禁止logging输出作为
小程序轮播图跳转到公众号链接_小程序跳转公众号
weixin_39555320的博客
11-23 163
随着小程序不断的发展，现在个人的小程序也开放了很多功能了，个人小程序直接打开公众号链接。在群里看到的一款小程序，点击可以直接阅读文章了，所以琢磨了一下，写了一些源码。主要代码：<web-view 为了达到效果，更加具体的demo效果如下github地址：https://github.com/wangxiaoting666/weixinlinkweixin.wxml<weixin.wxs...
flink 传参 启动_Flink之参数设置
weixin_39639600的博客
12-21 1511
上篇文章啰里啰嗦说了那么多，不知道大家理解的怎么样！写本文也是衔接上篇文章继续学习以便加深对Flink原理的理解。接下来主要是梳理一下-p, -yn 和实际Flink作业提交成功之后生成TaskManager的个数之间的关系。继续往下看☞①yn参数官网解释： -yn,--yarncontainer Number of YARN container to allocate (=Number o...
windows启动一个flink客户端
05-24
要在 Windows 上启动 Flink 客户端，请按照以下步骤进行操作： 1. 首先，确保已下载并解压缩了 Flink 发行版。可以从 Flink 的官方网站上下载最新的发行版。 2. 打开命令提示符，进入 Flink 的 bin 目录。可以使用以下命令： ``` cd <flink_home>/bin ``` 其中，`<flink_home>` 是 Flink 解压缩后的根目录。 3. 启动 Flink 客户端，可以使用以下命令： ``` ./start-cluster.bat ``` 这将启动 Flink 集群，并在控制台输出一些信息。等待一段时间，直到 Flink 集群完全启动。 4. 打开另一个命令提示符窗口，进入 Flink 的 bin 目录。这将是 Flink 客户端的控制台。 5. 启动 Flink 客户端，可以使用以下命令： ``` ./flink.bat run <your_job_jar_file> ``` 其中，`<your_job_jar_file>` 是您要提交的 Flink 作业的 JAR 文件。 运行命令后，Flink 客户端将连接到 Flink 集群，并向其提交作业。您可以在 Flink 客户端的控制台中查看作业的状态和日志信息。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值