Flink参数总结

最新推荐文章于 2024-08-25 18:36:57 发布

magicchu

最新推荐文章于 2024-08-25 18:36:57 发布

阅读量2k

点赞数 1

文章标签： flink 大数据

本文链接：https://blog.csdn.net/magicchu/article/details/125678866

版权

本文详细介绍了Flink任务的提交参数，包括Pre-Job模式与Session模式下的参数配置，如并行度、TaskManager的Slot数量等。在任务运行参数中，讨论了如何设置并行度，包括全局默认值、DataStream API粒度设置以及Table API的默认并行度配置。此外，还特别讲解了在Hive Source中如何根据文件数和block数推断并行度，以及设置sink表的并行度策略。

摘要由CSDN通过智能技术生成

任务提交参数

Pre-Job模式

./bin/flink run -m yarn-cluster -ynm job_name -ys 2 
-p 4 -yjm 1024m -ytm 4096m ./examples/batch/WordCount.jar

参数解读：
-p 并行度
-ynm 提交到yarn上的任务名称
-ys 每个TaskManager的Slot数量
-yjm 每个JobManager内存 (default: MB)
-ytm 每个TaskManager内存 (default: MB)

无法直接配置task manager数量，由程序的并行度自动推算

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

magicchu

关注关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

flink常用参数

05-19

642

已迁移。

Flink 日志总结

主要分享大数据相关的知识，如Spark、Hudi

12-25

1417

总结一下 Flink 项目代码打印日志的配置。

参与评论您还未登录，请先登录后发表或查看评论

flink run 参数_Flink集群部署

weixin_42513602的博客

12-03

2926

大数据成神之路：点我去成神之路系列目录^_^Flink入门Flink DataSet&DataSteam API1部署方式一般来讲有三种方式：LocalStandaloneFlink On Yarn/Mesos/K8s… 2Standalone部署上一节我们讲了单机模式如何部署启动，这节我们基于CentOS 7虚拟机搭建一个3个节点的集群：角色分配： Master: 192.168.246...

flink命令行参数

04-08

Apache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台，它能够基于同一个Flink运行时，提供支持流处理和批处理两种类型应用的功能。

flink 状态参数设置

最新发布

qq_18218071的博客

08-25

322

flink 状态参数

flink常用参数说明

暮紫的笔记本

03-03

1万+

一、flink run参数： flink run命令执行模板：flink run [option] -c,–class : 需要指定的main方法的类 -C,–classpath : 向每个用户代码添加url，他是通过UrlClassLoader加载。url需要指定文件的schema如（file://） -d,–detached : 在后台运行 -p,–parallelism : job需要指定env的并行度，这个一般都需要设置。 -q,–sysoutLogging : 禁止logging输出作为

Flink 参数配置和常见参数调优

yang灬仔

07-27

4227

Flink参数配置 jobmanger.rpc.address jm的地址。 jobmanager.rpc.port jm的端口号。 jobmanager.heap.mb jm的堆内存大小。不建议配的太大，1-2G足够。 taskmanager.heap.mb tm的堆内存大小。大小视任务量而定。需要存储任务的中间值，网络缓存，用户数据等。 taskmanager.numberOfTaskSlots slot数量。在yarn模式使用的时候会受到yarn.scheduler.maximum-allo

flink可配置参数

qq_18379607的博客

12-25

112

【代码】flink可配置参数。

Flink参数设置和性能优化

litlit023的专栏

04-02

744

4、分桶聚合-适用于去重聚合场景例如count(distinct userId)，将数据的key先打散到多个桶进行聚合，再对分桶中的数据最后聚合。去重计算的分桶聚合（例如groupby分钟去重，如果一个key数据500w，另一个key数据1w）导致数据倾斜，开启分桶聚合、分桶个数。0、状态访问性能差、大状态以及数据倾斜这3种场景提供的微批处理、去重场景BitMap复用、两阶段聚合以及去重计算的分桶聚合的优化原理。3、2阶段聚合（适合计数、累加的聚合场景）：热点数据倾斜，先聚合再传递给下游。

Flink实战总结1

08-03

"Flink实战总结1" Flink是Apache的开源项目，提供了分布式处理引擎，可以实现在大规模数据集上的复杂数据处理操作。Flink的核心是基于事件驱动的流处理引擎，可以实现在实时处理大规模数据流的操作。在Flink中，...

Flink常用的配置参数总结

litlit023的专栏

12-20

3740

1. rest.port 改参数默认值是8081， #rest.port: 8081 该配置是 rest client连接时的端口，如果rest.bind-port没有指定特定的端口值，那么该端口默认是8081；如果rest.bin-port被设置了特定的值，则该rest.port=rest.bin-port //flink-conf.yaml中对该参数的解释 # The port to which the REST client connects to. If rest.bind-port h

flink run 参数_聊聊flink的Parallel Execution

weixin_36044301的博客

12-27

246

序本文主要研究一下flink的Parallel Execution实例Operator Levelfinal StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();DataStream text = [...]DataStream> wordCounts = text .f...

Spark访问Hive的表

u011135852的博客

07-10

399

step 1:将$HIVE_HOME/conf/hive-site.xml拷贝到$SPARK_HOME/conf目录下 step 2:spark-shell模式：./spark-shell --master local[2] --jars ../jars/mysql-connector-java-5.1.49.jar step3:spark-sql模式：./spark-sql --master local[2] --jars ../jars/mysql-connector-java-5.1.49.j

flink参数释义

那又怎样？的博客

12-13

8060

转载来自：https://doc.flink-china.org/doc/ops/deployment/cluster_setup.html 用法# 命令行语法如下： ./flink <ACTION> [OPTIONS] [ARGUMENTS] 可以使用以下操作：命令 "run" 编译并运行程序。 Syntax: run [OPTIONS] <jar-file...

Flink run 参数解释

热门推荐

马斯特杨的博客

06-05

1万+

1 Flink的前世今生（生态很重要）很多人可能都是在 2015 年才听到 Flink 这个词，其实早在 2008 年，Flink 的前身已经是柏林理工大学一个研究性项目，在 2014 被 Apache 孵化器所接受，然后迅速地成为了 ASF（Apache Software Foundation）的顶级项目之一。 Apache Flink is an open source platform for distributed stream and batch data process

flink run 参数_构建Flink第一个应用程序

weixin_42518709的博客

12-27

359

在本文中，我们将从零开始构建Flink第一个应用程序：WordCount。1. 环境搭建Flink 可以运行在 Linux、Mac 以及 Windows 上。在这我们使用的是 Mac 系统。为了开发 Flink 应用程序，需要提前安装 Java 和 Maven 环境。如果已经安装 Java 环境，运行如下命令会输出具体的版本信息：wy:flink wy$ java -versionjav...

flink on yarn的会话模式中yarn-session.sh 参数

JustinMars的博客

07-19

1241

是 Apache Flink 在 YARN（Hadoop 的资源管理系统）上启动 Flink 会话（Session）的脚本。通过这个脚本，你可以在 YARN 上提交 Flink 任务，并在一个长时间运行的会话中执行多个作业。: 指定要在 YARN 上启动的 TaskManager 容器数量，也就是执行 Flink 任务的资源数量。: 指定 JobManager 容器的内存大小，以MB为单位。: 指定每个 TaskManager 容器的内存大小，以MB为单位。: 启动作业时可以指定特定的应用程序选项。

flink run常用参数说明

m0_57320261的博客

07-14

1334