Flink学习笔记(7) -- Flink 并行度详解(Parallel)

最新推荐文章于 2024-07-24 16:31:12 发布
最新推荐文章于 2024-07-24 16:31:12 发布
阅读量1.9k 收藏 5
点赞数
分类专栏： Flink 文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40640228/article/details/103785392
版权

在这里插入图片描述

  Flink的每个TaskManager为集群提供slot。 slot的数量通常与每个TaskManager节点的可用CPU内核数成比例。一般情况下你的slot数是你每个节点的cpu的核数。

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

  一个Flink程序由多个任务组成(source、transformation和 sink)。 一个任务由多个并行的实例(线程)来执行， 一个任务的并行实例(线程)数目就被称为该任务的并行度。

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

一个算子、数据源和sink的并行度可以通过调用 setParallelism()方法来指定

在这里插入图片描述

在这里插入图片描述

  执行环境(任务)的默认并行度可以通过调用setParallelism()方法指定。

  执行环境的并行度可以通过显式设置算子的并行度而被重写。

  为了以并行度3来执行所有的算子、数据源和data sink， 可以通过如下的方式设置执行环境的并行度：

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

  并行度可以在客户端将job提交到Flink时设定。

  对于CLI客户端，可以通过-p参数指定并行度

	./bin/flink run -p 10 WordCount-java.jar

在这里插入图片描述

  在系统级可以通过设置flink-conf.yaml文件中的parallelism.default属性来指定所有执行环境的默认并行度

在这里插入图片描述

满床清梦覆星河
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Flink优化的方方面面
qq_45409791的博客
08-02 1429
上游生产数据速度比下游消费数据速度大，flink会发生反压，反压会从下游向上游传播，直到sourcetask降低拉去数据速度，避免flink任务执行报错。
Flink之工作原理
weixin_33998125的博客
05-07 206
Flink工作原理Flink作为新的stream计算引擎，这两年社区的活跃度很高。对于Flink 既可以处理stream data也可以处理batch data,同时可以兼顾Spark以及Sparkstreaming的功能，与Spark不同的是，Flink本质上只有stream的概念，batch被认为是special stream。Flink主要有以下几个角色需要大家了解，对...
Flink -1- 简介和运行架构
最新发布
苍煜
07-24 2944
这几年大数据的飞速发展，出现了很多热门的开源社区，其中著名的有 Hadoop、Storm，以及后来的 Spark，他们都有着各自专注的应用场景。Spark 掀开了内存计算的先河，也以内存为赌注，赢得了内存计算的飞速发展。Spark 的火热或多或少的掩盖了其他分布式计算的系统身影。就像 Flink，也就在这个时候默默的发展着。在国外一些社区，有很多人将大数据的计算引擎分成了 4 代，当然，也有很多人不会认同。我们先姑且这么认为和讨论。
Flink中Sink时分别不设置setParallelism，setParallelism(1)和setParallelism(n)之间区别
知其然，知其所以然
07-04 4196
大家好，我是Jackson，是一名计算机学院大数据专业大二的学生。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！个人VX：LQ1518123002，欢迎与大家交流。 前言：基础不牢，地动山摇。 1.不设置setParallelism代码 import org.apache.flink.streaming.api....
flink---5 dataStream api （2）transformation和parallel和sink
m0_37139189的博客
06-12 130
常见transformation Transformation Description Map DataStream → DataStream 输入一个元素，然后返回一个元素，中间可以做一些清洗转换等操作 DataStream<Integer> dataStream = //... dataStream.map(new MapFunction&...
Apache Flink 并行度 Parallelism
lucklilili
12-23 576
把一个算子操作，“复制”多份到多个节点，数据来了之后就可以到其中任意一个执行。这样一来，一个算子操作就被拆分成了多个并行的“子任务”（subtasks），再将它们分发到不同节点，就真正实现了并行计算。在Flink执行过程中，每一个算子（operator）可以包含一个或多个子任务（operator subtask），这些子任务在不同的线程、不同的物理机或不同的容器中完全独立地执行。
Flink的Parallelism并行度
qq_41627514的博客
09-20 1042
Flink的Parallelism并行度
Flink(Scala)中Sink时不设置setParallelism，setParallelism(1)，setParallelism(n)之间区别
wangshiqi666的博客
03-08 295
flink——setParallelism
第三章 Flink基础概念之部署模式、Slot、Chaining、Parallelism、执行计划
qq_27924553的博客
11-09 439
Flink基础概念之部署模式、Slot、Chaining、Parallelism、执行计划
FlinkSQL设置sink的并行度
qq_40382400的博客
01-03 786
【代码】FlinkSQL设置sink的并行度。
Flink(十一)：Parallelism 、Slot 简介
在前进的路上
04-08 2297
TaskManager（也称为 worker）执行作业流的 task，在 TaskManager 中资源调度的最小单位是 task slot，slot也起到缓存和交换数据流，TaskManager 中 task slot 的数量表示并发处理 task 的数量，Flink 每个task 的数量是由Parallelism设置的，合理设置solt、parallelism的数量对减少延迟、增加整体吞吐量起到关键作用
Flink Streaming File Sink使用 以及 关于并行度的解释
LBJ_小松鼠的博客
03-09 1430
StreamingFileSink是Flink1.7中推出的新特性，可以用来将分区文件写入到支持 Flink FileSystem 接口的文件系统中，支持Exactly-Once语义。 文档：https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/connectors/streamfile_sink.html 1．初始化流计算运行环境 2．设置Checkpoint（10s）周期性启动 3．指定并行度为1 4．接入sock.
Flink paralleism并行度
lm324114的专栏
11-24 277
TaskManager与Slot Flink的每个TaskManager为集群提供solt，slot的数量通常与每个TaskManager可用CPU内核数成比例。一般情况下你的Slot数是每个节点的cpu核数。 并行度(Parallel) 一个Flink程序由多个任务组成(source、transformation和 sink)。一个任务由多个并行度的实例（线程）来执行，一个任务的并...
flink并行度知识点
杜海的博客
03-16 4239
Flink的基本构建 流(Stream)：流是对当前数据流向的记录（流也可能是永无止境的） 。 转换(Transform)：转换是将一个或多个流作为输入，根据需要求转换成我们要的格式的流的过程。 当程序执行时，Flink程序会将数据流进行映射、转换运算成我们要的格式的流。每个数据流都以一个或多个源(Source)开始，并以一个或多个接收器(Sink)结束，数据流类似于任意有向无环图(DAG)。 Flink 中的程序本质上是并行的。在执行期间，每一个算子(Transfor...
Flink流批一体计算（23）：Flink SQL之多流kafka写入多个mysql sink
victory0508的专栏
12-05 1524
WITH提供了一种编写辅助语句以用于更大的查询的方法。这些语句通常被称为公共表表达式（CTE），可以被视为定义仅针对一个查询存在的临时视图。json.fail-on-missing-field：在json缺失字段时是否报错。json.ignore-parse-errors：在解析json失败时是否报错。一般无法保证json格式，所以以上两个配置是比较重要的。注意：针对双流中的每条记录都发触发。mysql 建表语句。
Flink 并行度详解
热门推荐
Jiny_li的博客
01-14 1万+
TaskManager与Slot介绍      Flink的每个TaskManager为集群提供solt。 solt的数量通常与每个TaskManager节点的可用CPU内核数成比例。一般情况下你的slot数是你每个节点的cpu的核数。 并行度(Parallel)      一个Flink程序由多个任务组成(source、transformation和 sink)。 一个任务由多个...
Flink输出算子Sink
Hardhen的博客
02-07 1232
滚动”的概念在日志文件的写入中经常遇到：因为文件会有内容持续不断地写入，所以我们应该给一个标准，到什么时候就开启新的文件，将之前的内容归档保存。StreamingFileSink 支持行编码（Row-encoded）和批量编码（Bulk-encoded，比如Parquet）格式。（basePath）和数据的编码逻辑（rowEncoder 或 bulkWriterFactory）。在创建行或批量编码Sink 时，我们需要传入两个参数，用来指定存储桶的基本路径。文件大小已达到1 GB。
从0到1Flink的成长之路(二十)-扩展：并行度（Parallelism）
熊老二的博客
06-21 396
扩展：并行度（Parallelism） 的Task(线程)来执行， 一个Operator的并行Task(线程)数目就被称为该Operator(任务)的并行度(Parallel)。 并行度可以有如下几种指定方式 1.Operator Level（算子级别）(可以使用) 一个算子、数据源和sink的并行度可以通过调用 setParallelism()方法来指定 2.Execution Environment Level（Env级别）(可以使用) 执行环境(任务)的默认并行度可以通过调用setParalleli
flink sql设置并行度_10年经验大牛讲解Flink 基本工作原理，拿好小本本记好了！
weixin_39867200的博客
11-30 897
前言这几年大数据的飞速发展，出现了很多热门的开源社区，其中著名的有 Hadoop、Storm，以及后来的 Spark，他们都有着各自专注的应用场景。Spark 掀开了内存计算的先河，也以内存为赌注，赢得了内存计算的飞速发展。Spark 的火热或多或少的掩盖了其他分布式计算的系统身影。就像 Flink，也就在这个时候默默的发展着。Flink工作原理Flink是新的stream计算引擎，用java实现...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值