flink任务提交

最新推荐文章于 2024-08-08 13:30:27 发布
最新推荐文章于 2024-08-08 13:30:27 发布
阅读量1.2w 收藏 2
点赞数
分类专栏： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weidaoyouwen/article/details/81478780
版权
本文介绍了Flink安装启动后如何访问默认8081端口的可视化界面，查看运行任务状态。通过‘Submit new Job’提交新任务，上传jar包，并详细说明了任务提交流程及如何观察任务运行和错误信息。
摘要由CSDN通过智能技术生成

flink安装启动后，默认端口为8081。

浏览器启动 http://ip:8081,可以进入可视化界面。可以看到正在运行的任务及状态。

若要提交新的任务，点击“Submit new Job” -- “Add New+”，上传编译好的jar包工程

点击“upload”，等待上传完成：

 

点击新上传的jar包，可进行提交操作，"submit":

 

提交后可看到任务运行及报错情况：

 

 

 

 

weidaoyouwen
关注
专栏目录
flink实战--Application模式下java程序将flink任务提交到yarn集群
阿华田的博客
01-19 3030
扫一扫加入大数据公众号和技术交流群，了解更多大数据技术，还有免费资料等你哦 简介 对于单个flink任务提交到yarn集群，通过命令行的方式是能接受的，但是我们开发实时计算平台就需要通过代码的方式将我们管理的flink任务提交到yarn集群上去。本文主要介绍flink1.11新的部署模式–Application模式，具体Application模式和其他提交方式的区别可以参考我的这篇文章：flink on yarn。 程序提交flink任务的步骤 第一步：引入相关的配置到...
flink命令行参数
04-08
Apache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台，它能够基于同一个Flink运行时，提供支持流处理和批处理两种类型应用的功能。
Flink任务提交流程和运行模式
最新发布
XuXuemin的专栏
08-08 1222
Flink的任务提交流程过程说明，Flink集群的运行模式及其下的任务部署模式
flink的常见的任务提交方式
zhizhi120的博客
01-26 2023
flink执行任务的三种方式，flinksql、flinkjar和flink Rest API
flink 作业提交流程
weixin_39856351的博客
12-09 2939
之前给大家介绍了DataStream API中 Environment 和 Transformation 连个体系的源代码，今天来了小插曲，给大家宏观介绍下 Flink 作业的提交流程，希望对大家有帮助。 一、DataStream 作业提交流程 1）、首先，先给大家展示下流程图： 2）、提交流程说明： FlinkCli 先创建一个 Flink 环境变量 然后将环境变量存入到ThreadLocal中 在启动 Flink 作业jar包的 main 方法 Flink 应用程序通过 StreamExecution
Flink提交作业流程
chaohui2638457321的博客
01-21 272
4.2 任务提交流程 ps：上图中7.指TaskManager为JobManager提供slots，8.表示JobManager提交要在slots中执行的任务给TaskManager。 上图是从一个较为高层级的视角来看应用中各组件的交互协作。 如果部署的集群环境不同（例如YARN，Mesos，Kubernetes，standalone等），其中一些步骤可以被省略，或是有些组件会运行在同一个JVM进程中。 具体地，如果我们将Flink集群部署到YARN上，那么就会有如下的提交流程： Fl
Flink作业提交流程
WHY的博客
02-07 1937
flink作业提交流程，分为独立模式和YARN模式；YARN模式中分为会话模式、单作业模式和应用模式
Flink学习 - 4. Flink 配置文件参数 && Flink任务提交参数
jerome520zl的博客
12-20 7304
Flink学习 - 提交参数参数说明 参数说明 执行 flink run 后参数： 参数说明 Action "run" compiles and runs a program. Syntax: run [OPTIONS] <jar-file> <arguments> "run" action options: -c,--class <classname> ...
Flink任务提交流程（Standalone和Yarn）
qq_29095469的博客
07-21 1466
一、任务提交流程（Standalone) 1）App程序通过rest接口提交给Dispatcher（rest接口是跨平台，并且可以直接穿过防火墙，不需考虑拦截）。 2）Dispatcher把JobManager进程启动，把应用交给JobManager。 3）JobManager拿到应用后，向ResourceManager申请资源（slots），ResouceManager会启动对应的TaskManager进程，TaskManager空闲的slots会向ResourceManager注册。 4）Re
flink任务提交&wordcount
qwert123009的博客
07-11 1691
flink wordcount & standalone模式的 任务提交
向Flink集群提交作业——WebUI端和命令行
雷神乐乐的博客
02-19 1515
向Flink集群提交作业——WebUI端和命令行
Flink提交作业的流程
Matthew93的博客
06-17 277
Flink提交作业流程
flink提交命令相关解释
平平无奇小码农~
02-14 4247
一、Flink on Yarn 1.1 、per-job模式 1.1.1、命令 bin/flink run -m yarn-cluster -yn 3 -ys 3 -ynm bjsxt02 -c com.test.flink.wc.StreamWordCount ./appjars/test-1.0-SNAPSHOT.jar 1.1.2、参数解释 -yn,--container <arg> 表示分配容器的数量，也就是 TaskManager 的数量。 -d,--detached：设置在
真实集群中Flink命令行各种模式提交wordcount
微电子学与固体电子学-俞驰
06-07 1983
依然使用[1]中的代码和工程目录结构。 Reference: [1]intellij运行flink的wordcount实验
复现CVE-2020-17518——Apache Flink upload 远程命令执行漏洞
记录并分享学习安全的知识点..
10-01 716
复现CVE-2020-17518——Apache Flink upload 远程命令执行漏洞
【Flink实战系列】Flink如何提交任务到远程的集群
JasonLee实时计算
01-05 7600
Flink可以直接从本地提交任务到远程的集群,这样就不用每次打包上传到集群然后再启动任务,会减少很多时间,下面就来看看具体是怎么实现的? spark在本地提交到远程的yarn集群上可以看这篇文章https://mp.weixin.qq.com/s/Rwz5uAI-TfnTBpppsMTfBg Flink提供了远程提交的环境createRemoteEnvironment方法, 下面看一下这个方...
Hi一起来了解实时数据的IP解析吧
weixin_41998764的博客
12-25 2532
实时ETL解析IP本文关键词：前提：IP信息上传OSS：实现代码：基于存储到内存：基于存储在本地：打包上传： 本文关键词： 实时ETL IP解析 Blink–【阿里实时计算平台 Based on Flink】 前提： 之前的文章介绍了大数据离线平台的IP实时匹配，在那边文章中我说了将IP合并内容存储在ODPS【Hi一起来了解下大数据平台的IP解析吧】，是因为离线数据量一般很大，数据量增加之后离线任务启动的实例就很多，相当于全部的实例在同一时间去存储了IP合并内容的组件拉取数据，这个是危险的，所以不建议将
Flink任务提交流程
06-02
Flink任务提交的流程如下： 1. 首先，用户在客户端上编写Flink任务代码，并打包成JAR文件。 2. 用户通过Flink的Client API连接到Flink集群的JobManager。 3. 客户端向JobManager提交任务，包括JAR文件、任务配置参数等信息。 4. JobManager接收到任务提交请求后，会进行任务的检查和解析，包括检查JAR文件是否存在、解析任务配置参数等。 5. 如果任务检查和解析通过，JobManager会为该任务生成一个唯一的JobID，并将任务相关的数据（如JAR文件、任务配置参数等）上传到Flink集群的分布式文件系统中。 6. 然后，JobManager会将任务的执行计划提交到Flink集群的ResourceManager，请求资源以执行任务。 7. ResourceManager根据集群资源情况，为该任务分配所需的资源。 8. 任务开始执行，由JobManager负责协调和监控任务的执行过程。 9. 任务执行完成后，JobManager会将任务的执行结果返回给客户端。 10. 客户端可以通过Flink的REST API或Web UI等方式查看任务的状态和结果。 需要注意的是，Flink任务提交的流程可能因版本或使用方式的不同而略有差异。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值