[Flink]Flink1.3 Batch指南二 集群运行

最新推荐文章于 2023-12-06 12:36:20 发布
最新推荐文章于 2023-12-06 12:36:20 发布
阅读量859 收藏
点赞数
分类专栏： Flink 文章标签： Flink 批处理 集群运行
本文介绍了如何在Flink集群上运行批处理程序，包括使用命令行接口提交打包的JAR文件和通过远程环境直接执行Java程序。详细讲解了远程环境的Maven依赖设置及Example。
摘要由CSDN通过智能技术生成

Flink程序可以分布在许多机器的群集上。有两种方式可以将程序发送到集群上运行： (1) 命令行接口 (2) 远程环境

1. 命令行接口

了解本专栏 订阅专栏 解锁全文 超级会员免费看
@SmartSi
关注
专栏目录
订阅专栏
[Flink]Flink1.3 Batch指南一 本地运行
SmartSi
10-23 2662
Flink可以在单台机器上运行，甚至可以在单个Java虚拟机中运行。 这运行机制可以方便用户在本地测试和调试Flink程序。本节概述了Flink的本地执行机制。本地环境和执行器(executors)允许你可以在本地Java虚拟机上运行Flink程序，或者是在正在运行程序的Java虚拟机上(with within any JVM as part of existing programs)。对于大部分
Apache Flink: 在同一个引擎做流式和批处理
学习，学习，学习
08-07 868
参考： Apache Flinkó: Stream and Batch Processing in a Single Engine 为什么要读这篇论文？ 影响很大，google显示被引用次数881（截止日期：2020-08-07） 阿里巴巴以9000万美元收购了开发它的公司。1 流式处理已经不再是仅限于经典的aggregate和joins，而是进化成通用的大规模事件驱动应用。 批处理为什么不够？ 批处理有高延迟。不能实时地做出响应。 批处理没有显式的支持时间的概念。 批处理可以被认为是流处理的一个特例
Flink从入门到精通02之集群部署
weixin_46036165的博客
10-15 382
1. Cluster mode introduction 1.1. Comparison of cluster deployment modes 根据以下两种条件将集群部署模式分为三种类型： 集群的生命周期和资源隔离 根据程序main()方法执行在client还是job manager modes： Session Mode: 共享job manager和task manager, 所有提交的job都在一个Runtime中运行 Per-job Mode: 独享job manager和task mana
Flink-DataStream执行环境和数据读取
dafsq的博客
03-21 1101
Flink-DataStream执行环境和数据读取
Flink笔记
weixin_49113403的博客
02-01 1553
其实就是实现FilterFuntion方法之类的Rich Funtion函数类，RichReduceFuntion,RichFilter Function等只要带Rich的，就可以获取上下文环境和生命周期方法例如open（）和close（）方法open（）初始化，只会在算子运行之前调用一次，有多个并行度，调用多次close（），一般用来做一些清理工作getRuntimeContext（），获取上下文的信息重写 invoke方法。
[Flink]Flink1.3 指南四 命令行接口
SmartSi
10-23 8031
Flink提供了一个命令行接口（CLI）用来运行打成JAR包的程序，并且可以控制程序的运行。命令行接口在Flink安装完之后即可拥有，本地单节点或是分布式的部署安装都会有命令行接口。命令行接口启动脚本是 $FLINK_HOME/bin目录下的flink脚本， 默认情况下会连接运行中的Flink master(JobManager)，JobManager的启动脚本与CLI在同一安装目录下。 使用命...
Apache Flink连载（七）：Apache Flink快速入门 - DataStream BATCH模式
最新发布
qq_32020645的博客
12-06 682
关于Flink集群提交任务及Flink flink-conf.yaml配置文件在下个章节集群搭建会进行介绍。以上代码运行完成之后结果如下，可以看到结果与批处理结果类似，只是多了对应的处理线程号。🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。
Flink的集群的搭建
qq_40870024的博客
12-11 4391
部署方式分类 1.Local 本地部署 2. Standalone 使用Flink自带的资源调度平台进行任务的部署 3. Standalone-HA高可用的部署方式 4. Yarn 部署 1. Local 本地部署 应用场景：开发环境 部署步骤： 设置 JDK运行环境 配置 SSH 免密登录 下载并解压缩 Flink-1.13.1 到 /export/server 修改配置文件 jobmanager.rpc.address: node1 开启flink环境查看web UI监控 开启集群 [root@n
Flink配置执行环境和参数
feizuiku0116的博客
01-12 2068
一、配置DataStream API、DataSet API的执行环境 执行环境（Execution Environment）表示当前执行程序的上下文，它决定了Flink应用程序在什么执行环境（本地或集群）中执行。 不同的执行环境也决定了应用程序的不同类型。批处理和流处理作业分别使用不同的执行环境。 创建执行环境的类： StreamExecutionEnvironment：用来创建流处理执行环境 ExecutionEnvironment：用来创建批处理执行环境 获取执行环境的方法：
Flink-Environment的三种方式和Source的四种读取方式-从集合中、从kafka中、从文件中、自定义
SmallScorpion
05-25 4017
Environment getExecutionEnvironment:创建一个执行环境，表示当前执行程序的上下文。 如果程序是独立调用的，则此方法返回本地执行环境；如果从命令行客户端调用程序以提交到集群，则此方法返回此集群的执行环境，也就是说，getExecutionEnvironment会根据查询运行的方式决定返回什么样的运行环境，是最常用的一种创建执行环境的方式。如果没有设置并行度，会以flink-conf.yaml中的配置为准，默认是1。 // 批处理 val env: ExecutionEnvir
Flink源码解析系列--StreamExecutionEnvironment类
打酱油的葫芦娃
03-31 1万+
本文的Flink源码版本为: 1.15-SNAPSHOT，读者可自行从Github clone. Flink 程序看起来像一个转换 DataStream 的常规程序。每个程序由相同的基本部分组成： 获取一个执行环境（execution environment）； 加载/创建初始数据； 指定数据相关的转换； 指定计算结果的存储位置； 触发程序执行。 StreamExecutionEnvironment 是所有 Flink 程序的基础。 创建 你可以使用 StreamExecutionEnvironme.
Flink基础系列10-Flink Environment
只是甲的博客
10-18 1万+
文章目录一.Environment概述1.1 getExecutionEnvironment1.2 createLocalEnvironment1.3 createRemoteEnvironment参考: 一.Environment概述 一个Flink的程序是从一个Environment开始的 1.1 getExecutionEnvironment 创建一个执行环境，表示当前执行程序的上下文。如果程序是独立调用的，则此方法返回本地执行环境；如果从命令行客户端调用程序以提交到集群，则此方法返回此集群的执行环
4.1.9 Flink-流处理框架-Flink流处理API之Environment
敲代码的乔帮主
02-20 631
目录 1.写在前面 2.Environment：环境 2.1getExecutionEnvironment：得到执行环境 2.2createLocalEnvironment：创建本地环境 2.3createRemoteEnvironment：创建远程环境 1.写在前面 我们主要研究dataStream的api，dataSet与之类似。source用来读取数据源，transform做转换计算，sink阶段主要用来输出计算数据。在这三个步骤之前，我们需要创建flink的执行环...
Flink--本地执行和集群执行
05-20 322
本地执行 1：local环境 LocalEnvironment是Flink程序本地执行的句柄。用它在本地JVM中运行程序 - 独立运行或嵌入其他程序中。 本地环境通过该方法实例化ExecutionEnvironment.createLocalEnvironment()。默认情况下，它将使用尽可能多的本地线程执行，因为您的机器具有CPU核心（硬件上下文）。您也可以指定所需的并行性。本...
Flink任务提交模式
believe2017slwx的博客
04-12 8562
local模式本地运行，不需要集群环境IDE开发时，local模式方便本地测试standalone需要搭建flink集群提交命令flink run -m artemis-02:6123 -c com.test.WordCount2 ./Flink.jar hdfs://artemis-02:9000/tmp/lvxw/tmp/logs/words hdfs://artemis-02:9000/t...
Flink异常问题提总结
热门推荐
梦想成真那天
04-29 1万+
Flink在执行过程中突然异常退出 Sink: time-kafka(1/1) switched to SCHEDULED 04/29/2019 10:10:20 Job execution switched to status FAILING. org.apache.flink.runtime.jobmanager.scheduler.NoResourceAvailableExcepti...
flink实战--idea本地提交Flink任务到远程的集群
阿华田的博客
01-08 4713
简介 你是不是还在打包上传到远程集群运行flink任务？这样会浪费很多时间，为了节约大家的时间，flink提供了createRemoteEnvironment方法，可以实现本地任务提交到远程集群的方法，本文具体介绍一下。 createRemoteEnvironment 源码如下：org.apache.flink.api.java.R...
大数据学习之Flink环境搭建+提交任务方式
y_wang_的博客
08-03 2354
Flink环境搭建与任务提交详解
Apache Flink命令行操作指南
如果Flink集群运行在远程服务器上，可以通过`-m`参数指定JobManager的地址，如： ``` ./bin/flink run -m <jobmanager-ip>:<port> ``` 3. **配置参数 (`-D`)** 用户可以通过`-D`参数传递自定义的配置选项，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值