Flink开发-创建Flink程序流式处理执行环境

最新推荐文章于 2024-08-18 22:16:18 发布
最新推荐文章于 2024-08-18 22:16:18 发布
阅读量457 收藏
点赞数
分类专栏： Flink 文章标签： 实时大数据 java flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq884121435/article/details/119571895
版权
本文介绍了Flink程序的运行环境配置，包括本地模式和自适应模式的运用，强调了本地调试时如何开启Web-UI进行程序观察与调试。在本地模式下，程序并行度可手动设定；而在自适应模式下，它能自动适配运行环境。通过引入Web-UI的依赖，开发者可以在本地调试时利用Web界面进行便捷的监控。
摘要由CSDN通过智能技术生成

Flink开发-创建Flink程序流式处理执行环境

1.本地模式运行

Local模式运行，只能在本地运行，无法在服务器上运行，通常用于本地测试。 这种方式配置时可以手动指定程序并行度。

LocalStreamEnvironment env = StreamExecutionEnvironment.createLocalEnvironment(8);

2.自适应模式运行

运行时会自动判断（本地/集群），并自动生成相对应的运行环境，代码切换更加灵活。Local模式下程序默认的并行度是当前机器的逻辑核的数量。

StreamExecutionEnvironment env = StreamExecutionEnvironment
最低0.47元/天 解锁文章
知白zz
关注
专栏目录
Flink--Streaming Warehouse 流式数仓的概念、目标及实现路径
penriver的博客
01-10 2606
在 Flink Forward Asia 2021 的主题演讲中，Apache Flink 中文社区发起人、阿里巴巴开源大数据平台负责人王峰提出了 Flink 下一步的发展方向——流式数仓（Streaming Warehouse，简称 Streamhouse），Flink 要从 Stream Processing 走向 Streaming Warehouse 去覆盖更大的场景，帮助开发者解决更多问题。 本文针对流式数仓的概念，实现的目标，实现的方式进行梳理，讲解。
Intellij下利用Maven构建Scala Project
felcon的专栏
12-02 9431
利用Intellijidea直接创建scala工程很容易，但现在主流开发环境大多采用Maven构建，而且有个好处是java和scala可以在一个项目中混合使用。1. 安装Scala插件File -》Settings -》Plugins，在搜索栏里搜索“scala”，会有两个，SBT和Scala，安装Scala。 2. 新建Maven项目File -》New -》Project，选择Maven，在右
Flink 创建流处理运行环境
GX_0824的博客
10-02 478
/ env.setParallelism(16) //设置当前并行度 //执行在哪一个线程是根据当前单词的哈希值决定的。//输出数据可能乱序，网络传输的时候已经乱了，并行度为1时不乱，不能实现高并发，高吞吐量。.keyBy(0) //分组基于当前key的hash值取模。//从外部命令中提取参数作为socket主机名和端口号。//接受一个socket文本流。//启动一个进程，等待数据输入。//创建流处理运行环境。//进行转换处理统计。
大数据——Flink原理
最新发布
庄小焱
08-18 1735
Apache Flink 是一个强大的开源框架和分布式处理引擎，专门用于对无界和有界数据流进行有状态计算。Flink 支持高吞吐量、低延迟的实时数据流处理，同时也能够高效地处理批处理任务。其核心特点包括事件时间处理、有状态操作、容错机制，以及能够在各种常见的集群环境中运行，如 Hadoop、Kubernetes 和自定义集群。Flink 还具有高度可扩展性，能够处理从小规模到大规模的数据集，同时保持较低的内存占用和高效的计算速度。Flink 常用于实时分析、数据管道、流式 ETL、机器学习等场景，广泛应用于
Flink实现原理--流执行环境概述
zg_hover的专栏
11-28 1754
Flink实现原理–流执行环境 Flink可以支持批和流数据的计算。在实现层面的执行环境上，Flink有两套不同的类来实现批和流的执行环境。本文就来概要分析一下Flink的流执行环境。 Flink的执行环境 执行环境是对外的应用开发层面的概念，用户在实现Flink数据处理任务时，需要直接使用执行环境的对象和方法来对当前执行环境进行创建和配置。 Flink提供了两套执行环境，一套是批执行环境，其父类是：ExecutionEnvironment。一套是流执行，其父类是：StreamExecutionEnviro
Flink系列之Flink 流式编程模式总结
luoyepiaoxue2014的博客
12-02 350
Flink系列之Flink 流式编程模式总结
Flink在IDEA中本地执行创建带有Web UI的Environment
Bulut0907
06-24 2134
目录1. 背景2. 解决方法 1. 背景 在IDEA中本地执行Flink程序，直接通过下面的方式创建的Environment，是没有Web UI的 val senv = StreamExecutionEnvironment.getExecutionEnvironment 2. 解决方法 通过下面的方式创建带有Web UI的本地Environment import org.apache.flink.configuration.Configuration import org.apache.flink.str
flink-1.14.5-bin-scala_2.12.tgz
08-15
Flink 可广泛应用于实时数据分析、日志处理、流式计算、实时推荐系统、物联网(IoT)数据处理等多个领域。例如，电商公司可以利用 Flink 实时分析用户行为，进行个性化推荐；金融企业则可以借助 Flink 实时监控交易，...
flink-1.11.3-bin-scala_2.12.tgz
03-19
1. **Flink架构**：Flink的核心组件包括DataStream API（用于无界和有界数据流处理）、JobManager（负责任务调度和资源管理）和TaskManager（执行实际计算任务）。Flink采用流式数据处理模型，可以实现事件时间窗口...
Flink开启本地运行环境
cts618
05-30 247
// Flink 开启本地运行环境 object Demo002 { def main(args: Array[String]): Unit = { val con: Configuration = new Configuration() con.setLong("hadoop102",9999) val env: StreamExecutionEnvironment = StreamExecutionEnvironment.createLocalEnvironmentWith.
Flink--Environment
MINGZHEFENG的博客
11-26 523
获取当前程序的上下文 批处理： val env: ExecutionEnvironment = ExecutionEnvironment.getExecutionEnvironment 流处理： val env = StreamExecutionEnvironment.getExecutionEnvironment 这里涉及不同的底层实现。 在idea和生产环境中的执行环境是不同的 getExecutionEnvironment底层会自动帮我们判断是本地环境还是集群生产环境 然后以此调用： //本地执行
2、flink计算任务可以在哪些环境中运行
向热爱自己一样，热爱这个世界。
03-29 809
用一个例子告诉你 怎样Flink DataStream API 中获取执行环境对象
Flink集群搭建教程
anyitian的博客
04-29 646
文章目录前言下载解压修改配置文件配置flink环境变量(三台主句修改/etc/profile)启动flink集群问题及解决办法 前言 本次教程使用了三台主机分别是bigdata151、bigdata152、bigdata153。 下载 按照所需版本下载 比如scala版本 地址：https://flink.apache.org/downloads.html 解压 上传到服务器，解压。 tar -zxvf flink-1.12.2-bin-scala_2.12.tgz 修改配置文件 进入conf目录下
Java版Flink（四）运行环境Enviroment
qq_41311979的博客
03-14 315
一、Flink 数据流程 二、Environment 2.1、getExecutionEnvironment 创建一个执行环境，表示当前执行程序的上下文。 如果程序是独立调用的，则此方法返回本地执行环境；如果从命令行客户端调用程序以提交到集群，则此方法返回此集群的执行环境，也就是说，getExecutionEnvironment 会根据查询运行的方式决定返回什么样的运行环境，是最常用的一种创建执行环境的方式。本地创建执行环境，默认的并行度等于cpu 核数。 2.1.1、dataset ExecutionE
4.1.9 Flink-流处理框架-Flink流处理API之Environment
敲代码的乔帮主
02-20 631
目录 1.写在前面 2.Environment：环境 2.1getExecutionEnvironment：得到执行环境 2.2createLocalEnvironment：创建本地环境 2.3createRemoteEnvironment：创建远程环境 1.写在前面 我们主要研究dataStream的api，dataSet与之类似。source用来读取数据源，transform做转换计算，sink阶段主要用来输出计算数据。在这三个步骤之前，我们需要创建flink的执行环...
Flink实战：01.创建项目结构
猿刊
03-27 967
`flink` 官方提供两种创建项目的方式， `maven` 和 `gradle` ，同时也提供快速构建项目模板的脚本和命令脚本，但这种方式需要自行修改项目 `groupId` 和 `ArtifactId` ，因此，建议使用 `idea` IDE 创建项目工程，省时省心。
初识Flink之流处理（二）
空-白_格的博客
03-22 300
DataStream API介绍 什么能被转化成流？ Flink的Java和Scala DataStream API 可以将任何可序列化的对象转化为流。 Flink 自带的序列化器有 基本类型，即 String、Long、Integer、Boolean、Array 复合类型：Tuples、POJOs 和 Scala case classes 而且 Flink 会交给 Kryo 序列化其他类型。也可以将其他序列化器和 Flink 一起使用。特别是有良好支持的 Avro。 Java tuples 和 POJOs
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值