Flink那件事儿

最新推荐文章于 2024-07-04 09:48:53 发布
最新推荐文章于 2024-07-04 09:48:53 发布
阅读量504 收藏
点赞数 1
分类专栏： 大数据 文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45723348/article/details/119236878
版权
本文详细介绍了Apache Flink的核心概念，包括JobManager、TaskManager及其职责，以及流处理的特性和优势。文章涵盖了Flink的安装部署，包括Standalone和YARN模式，以及Session和Per-Job集群的区别。此外，还讨论了Flink的API，如DataStream、Table API以及SQL支持，强调了数据源、转换和接收器的角色。
摘要由CSDN通过智能技术生成

1. Flink好的博文

https://github.com/zhisheng17/flink-learning
flink中文网站：https://flink.apache.org/zh/flink-architecture.html

2. Flink简介

2.1 概念框架

  • Apache Flink 是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。
  • Apache Flink 擅长处理无界和有界数据集 精确的时间控制和状态化使得 Flink 的运行时(runtime)能够运行任何处理无界流的应用。有界流则由一些专为固定大小数据集特殊设计的算法和数据结构进行内部处理，产生了出色的性能。
  • Flink 是一个分布式系统，需要有效分配和管理计算资源才能执行流应用程序。它集成了所有常见的集群资源管理器，例如Hadoop YARN、Apache Mesos和Kubernetes，但也可以设置作为独立集群甚至库运行。

Flink 运行时由两种类型的进程组成：一个 JobManager 和一个或者多个 TaskManager。

在这里插入图片描述

Client 不是运行时和程序执行的一部分，而是用于准备数据流并将其发送给 JobManager。之后，客户端可以断开连接（分离模式），或保持连接来接收进程报告（附加模式）。客户端可以作为触发执行 Java/Scala 程序的一部分运行，也可以在命令行进程./bin/flink run ...中运行。

可以通过多种方式启动 JobManager 和 TaskManager：直接在机器上作为standalone 集群启动、在容器中启动、或者通过YARN或Mesos等资源框架管理并启动。TaskManager 连接到 JobManagers，宣布自己可用，并被分配工作。

2.2 为什么Flink(特点)

Flink 是一个开源的分布式流式处理框架：

  1. 提供准确的结果，甚至在出现无序或者延迟加载的数据的情况下。
  2. 它是状态化的容错的，同时在维护一次完整的的应用状态时，能无缝修复错误。
  3. 大规模运行，在上千个节点运行时有很好的吞吐量和低延迟。

更早的时候，我们讨论了数据集类型（有界 vs 无穷）和运算模型（批处理 vs 流式）的匹配。Flink 的流式计算模型启用了很多功能特性，如状态管理，处理无序数据，灵活的视窗，这些功能对于得出无穷数据集的精确结果是很重要的。

  • Flink 保证状态化计算强一致性。”状态化“意味着应用可以维护随着时间推移已经产生的数据聚合或者，并且 Filnk 的检查点机制在一次失败的事件中一个应用状态的强一致性。

  • Flink 支持流式计算和带有事件时间语义的视窗。事件时间机制使得那些事件无序到达甚至延迟到达的数据流能够计算出精确的结果。

  • 除了提供数据驱动的视窗外，Flink 还支持基于时间，计数，session 等的灵活视窗。视窗能够用灵活的触发条件定制化从而达到对复杂的流传输模式的支持。Flink 的视窗使得模拟真实的创建数据的环境成为可能。

  • Flink 的容错能力是轻量级的，允许系统保持高并发，同时在相同时间内提供强一致性保证。Flink 以零数据丢失的方式从故障中恢复，但没有考虑可靠性和延迟之间的折衷。

  • Flink 能满足高并发和低延迟（计算大量数据很快）。下图显示了 Apache Flink 与 Apache Storm 在完成流数据清洗的分布式任务的性能对比。

  • Flink 保存点提供了一个状态化的版本机制，使得能以无丢失状态和最短停机时间的方式更新应用或者回退历史数据。

  • Flink 被设计成能用上千个点在大规模集群上运行。除了支持独立集群部署外，Flink 还支持 YARN 和Mesos 方式部署。

  • Flink 的程序内在是并行和分布式的，数据流可以被分区成 stream partitions，operators 被划分为operator subtasks; 这些 subtasks 在不同的机器或容器中分不同的线程独立运行；operator subtasks 的数量在具体的 operator 就是并行计算数，程序不同的 operator 阶段可能有不同的并行数；如下图所示，source operator 的并行数为 2，但最后的 sink operator 为1；

  • 自己的内存管理：Flink 在 JVM 中提供了自己的内存管理，使其独立于 Java 的默认垃圾收集器。 它通过使用散列，索引，缓存和排序有效地进行内存管理。

  • 丰富的库：Flink 拥有丰富的库来进行机器学习，图形处理，关系数据处理等。 由于其架构，很容易执行复杂的事件处理和警报。
    在·

JobManager

JobManager 具有许多与协调 Flink 应用程序的分布式执行有关的职责：它决定何时调度下一个 task（或一组 task）、对完成的 task 或执行失败做出反应、协调 checkpoint、并且协调从失败中恢复等等。这个进程由三个不同的组件组成：

  • ResourceManager

    ResourceManager 负责 Flink 集群中的资源提供、回收、分配 - 它管理 task slots，这是 Flink 集群中资源调度的单位（请参考TaskManagers）。Flink 为不同的环境和资源提供者（例如 YARN、Mesos、Kubernetes 和 standalone 部署）实现了对应的 ResourceManager。在 standalone 设置中，ResourceManager 只能分配可用 TaskManager 的 slots，而不能自行启动新的 TaskManager。

  • Dispatcher

    Dispatcher 提供了一个 REST 接口，用来提交 Flink 应用程序执行，并为每个提交的作业启动一个新的 JobMaster。它还运行 Flink WebUI 用来提供作业执行信息。

  • JobMaster

    JobMaster 负责管理单个JobGraph的执行。Flink 集群中可以同时运行多个作业，每个作业都有自己的 JobMaster。

始终至少有一个 JobManager。高可用（HA）设置中可能有多个 JobManager，其中一个始终是 leader，其他的则是 standby（请参考 高可用（HA））。

TaskManagers

askManager（也称为 worker）执行作业流的 task，并且缓存和交换数据流。

必须始终至少有一个 TaskManager。在 TaskManager 中资源调度的最小单位是 task slot。TaskManager 中 task slot 的数量表示并发处理 task 的数量。请注意一个 task slot 中可以执行多个算子。

Tasks 和算子链

对于分布式执行，Flink 将算子的 subtasks 链接成 tasks。每个 task 由一个线程执行。将算子链接成 task 是个有用的优化：它减少线程间切换、缓冲的开销，并且减少延迟的同时增加整体吞吐量。链行为是可以配置的；

下图中样例数据流用 5 个 subtask 执行，因此有 5 个并行线程。
在这里插入图片描述

Task Slots 和资源

每个 worker（TaskManager）都是一个 JVM 进程，可以在单独的线程中执行一个或多个 subtask。为了控制一个 TaskManager 中接受多少个 task，就有了所谓的 task slots（至少一个）。

每个 task slot 代表 TaskManager 中资源的固定子集。例如，具有 3 个 slot 的 TaskManager，会将其托管内存 1/3 用于每个 slot。分配资源意味着 subtask 不会与其他作业的 subtask 竞争托管内存，而是具有一定数量的保留托管内存。注意此处没有 CPU 隔离；当前 slot 仅分离 task 的托管内存。

通过调整 task slot 的数量，用户可以定义 subtask 如何互相隔离。每个 TaskManager 有一个 slot，这意味着每个 task 组都在单独的 JVM 中运行（例如，可以在单独的容器中启动）。具有多个 slot 意味着更多 subtask 共享同一 JVM。同一 JVM 中的 task 共享 TCP 连接（通过多路复用）和心跳信息。它们还可以共享数据集和数据结构，从而减少了每个 task 的开销。
在这里插入图片描述

默认情况下，Flink 允许 subtask 共享 slot，即便它们是不同的 task 的 subtask，只要是来自于同一作业即可。结果就是一个 slot 可以持有整个作业管道。允许 slot 共享有两个主要优点：

  • Flink 集群所需的 task slot 和作业中使用的最大并行度恰好一样。无需计算程序总共包含多少个 task（具有不同并行度）。
  • 容易获得更好的资源利用。如果没有 slot 共享，非密集 subtask（source/map()）将阻塞和密集型 subtask（window） 一样多的资源。通过 slot 共享，我们示例中的基本并行度从 2 增加到 6，可以充分利用分配的资源，同时确保繁重的 subtask 在 TaskManager 之间公平分配。

在这里插入图片描述

从下至上，Flink 整体结构

在这里插入图片描述

从下至上：

  1. 部署：Flink 支持本地运行、能在独立集群或者在被 YARN 或 Mesos 管理的集群上运行， 也能部署在云上。
  2. 运行：Flink 的核心是分布式流式数据引擎，意味着数据以一次一个事件的形式被处理。
  3. API：DataStream、DataSet、Table、SQL API。
  4. 扩展库：Flink 还包括用于复杂事件处理，机器学习，图形处理和 Apache Storm 兼容性的专用代码库。

3. 安装部署

3.1 Flink Standalone HA安装

首先选定一台机器节点，解压flink-1.13.1-bin-scala_2.12.tgz，并进入conf目录修改flink-conf.yaml和master文件，修改完毕之后把flink安装包往其他两台机器复制

jobmanager.rpc.address: zhoujing
jobmanager.rpc.port: 6123
jobmanager.memory.process.size: 1600m
taskmanager.memory.process.size: 1728m
taskmanager.numberOfTaskSlots: 1
parallelism.default: 1
high-availability: zookeeper
high-availability.storageDir: hdfs://node/flink/ha/
high-availability.zookeeper.quorum: node1:2181,node2:2181,node3:2181
high-availability.zookeeper.path.root: /flink
state.backend: filesystem
state.checkpoints.dir: hdfs://node/flink/checkpoints
state.savepoints.dir: hdfs://node/flink/checkpoints
jobmanager.execution.failover-strategy: region
io.tmp.dirs: /tmp/flink/tmp
historyserver.web.address: 0.0.0.0
historyserver.web.port: 8082
historyserver.archive.fs.dir: hdfs://node/flink/completed-jobs/
historyserver.archive.fs.refresh-interval: 10000

masters配置两个，变成高可用

vim masters
zhoujing:8081
node1:8082

把flink安装包往其余两台

scp flink/ root@node2:/opt/software
scp flink/ root@node2:/opt/software

启动集群：

start-cluster.sh

启动会报错，说不知道hdfs的schame，此时需要添加处理jar包（flink-shaded-hadoop-2-uber-2.7.5-10.0.jar）到flink的lib下来解决
在这里插入图片描述

可以界面访问集群情况：http://zhoujing:8081/

在这里插入图片描述

cluster启动后有两个进程：
在这里插入图片描述

StandaloneSessionClusterEntrypoint为jobmnager，taskManagerRunner为taskManager。

  • JobManager：主要负责调度task，协调checkpoint已经错误恢复等。当客户端将打包好的任务提交到JobManager之后，JobManager就会根据注册的TaskManager资源信息将任务分配给有资源的TaskManager，然后启动运行任务。
  • TaskManager：执行数据流的task，一个task通过设置并行度，可能会有多个subtask。每个TaskManager都是作为一个独立的JVM进程运行的，他主要负责在独立的线程执行的operator。其中能执行多少个operator取决于每个taskManager指定的slots数量。Task slot是Flink中最小的资源单位。假如一个taskManager有3个slot，他就会给每个slot分配1/3的内存资源，目前slot不会对cpu进行隔离。同一个taskManager中的slot会共享网络资源和心跳信息。

提交一个任务：

 ./bin/flink run examples/streaming/WordCount.jar
 tail log/flink-*-taskexecutor-*.out

3.2 Flink On Yarn部署

  • Flink 服务提交给 YARN 的 ResourceManager，后者在由 YARN NodeManagers 管理的机器上生成容器。Flink 将其 JobManager 和 TaskManager 实例部署到此类容器中。
  • Flink 可以根据在 JobManager 上运行的作业所需的处理槽数动态分配和取消分配 TaskManager 资源。
  • 解脱了JobManager的压力 RM做资源管理 JobManager只负责任务管理
  • Flink提供了两种在yarn上运行的模式，分别为Session-Cluster和Per-Job-Cluster模式。

运行流程：
在这里插入图片描述

  1. 每当创建一个新flink的yarn session的时候，客户端会首先检查要请求的资源(containers和
    memory)是否可用。然后，将包含flink相关的jar包盒配置上传到HDFS
  2. 客户端会向ResourceManager申请一个yarn container 用以启动ApplicationMaster。由于客户端
    已经将配置和jar文件上传到HDFS，ApplicationMaster将会下载这些jar和配置，然后启动成功
  3. JobManager和AM运行于同一个container
  4. AM开始申请启动Flink TaskManager的containers，这些container会从HDFS上下载jar文件和已
    修改的配置文件。一旦这些步骤完成，flink就可以接受任务了
3.2.1 Session-cluster 模式

在这里插入图片描述

Session模式是预分配资源的，也就是提前根据指定的资源参数初始化一个Flink集群，并常驻在YARN系统中，拥有固定数量的JobManager和TaskManager（注意JobManager只有一个）。提交到这个集群的作业可以直接运行，免去每次分配资源的overhead。但是Session的资源总量有限，多个作业之间又不是隔离的，故可能会造成资源的争用；如果有一个TaskManager宕机，它上面承载着的所有作业也都会失败。另外，启动的作业越多，JobManager的负载也就越大。所以，Session模式一般用来部署那些对延迟非常敏感但运行时长较短的作业。

提交任务命令：

# (0) export HADOOP_CLASSPATH
export HADOOP_CLASSPATH=`hadoop classpath`

# (1) Start YARN Session
./bin/yarn-session.sh --detached

# (2) You can now access the Flink Web Interface through the
# URL printed in the last lines of the command output, or through
# the YARN ResourceManager web UI.

# (3) Submit example job
./bin/flink run ./examples/streaming/TopSpeedWindowing.jar

# (4) Stop YARN session (replace the application id based 
# on the output of the yarn-session.sh command)
echo "stop" | ./bin/yarn-session.sh -id application_XXXXX_XXX
#或者
yarn application --kill application_XXXXX_XXX
3.2.2 Per-Job-Cluster 模式

在这里插入图片描述

顾名思义，在Per-Job模式下，每个提交到YARN上的作业会各自形成单独的Flink集群，拥有专属的JobManager和TaskManager。可见，以Per-Job模式提交作业的启动延迟可能会较高，但是作业之间的资源完全隔离，一个作业的TaskManager失败不会影响其他作业的运行，JobManager的负载也是分散开的，不存在单点问题。当作业运行完成，与它关联的集群也就被销毁，资源被释放。所以，Per-Job模式一般用来部署那些长时间运行的作业。

Per-job Cluster模式会在YARN上启动一个Flink集群，然后在***本地运行提供的应用jar***，最后将***JobGraph提交给YARN上的JobManager***。如果你传递--detached参数，一旦提交被接受，客户端就会停止。

一旦作业停止，YARN 集群就会停止。

./bin/flink run -t yarn-per-job --detached ./examples/streaming/TopSpeedWindowing.jar

部署 Per-Job 集群后，您可以与它进行交互以执行取消或获取保存点等操作。

# List running job on the cluster
./bin/flink list -t yarn-per-job -Dyarn.application.id=application_XXXX_YY
# Cancel running job
./bin/flink cancel -t yarn-per-job -Dyarn.application.id=application_XXXX_YY <jobId>

取消 Per-Job 集群上的作业将停止集群。

3.2.3 Application模式

Application模式本质上是Session和Per-Job模式的折衷。

Application Mode 会在 YARN 上启动一个 Flink 集群，应用

最低0.47元/天 解锁文章
静哥哥~
关注
专栏目录
【Flink】并行度设置导致的负载倾斜 Key Groups 不均衡 计算最大并行度
九师兄
08-20 733
这表明每个子任务的算子没有收到相同数量的 Key Groups，它代表所有可能的 key 的一部分。如果一个算子收到了 1 个 Key Group，而另外一个算子收到了 2 个，则第二个子任务很可能需要完成两倍的工作。我们从一个简单的问题开始：在 Flink UI 中调查某个作业的子任务时，关于每个子任务处理的数据量，你可能会遇到如下这种奇怪的情况。搜嘎斯奈，我说我们公司的代码有一段是计算最大并行度的，然后设置了这个值，当初一直没找到相关的解释，也没去问，实在是不该呀。每个子任务的工作负载并不均衡。
Flink 读写Kafka总结
主要分享大数据相关的知识，如Spark、Hudi
07-05 2024
总结Flink读写Kafka。
flink 中文
MR_REN019235的博客
01-28 513
  flink 中文 https://flink-china.org/
社区资讯 | Apache Flink 中文社区网站 Ververica 正式发布
weixin_34279061的博客
05-17 396
众所周知，Apache Flink 最初是由德国柏林工业大学的几个博士生和研究生从学校开始做起来的项目，2014年，其核心成员开发了 Flink，同时将 Flink 计算的主流方向定位为实时计算并在同年将 Flink 捐赠给 Apache ，后来快速孵化，成为 Apache 的顶级项目。Apache Flink 是业界公认的性能优异的大数据实时计算引擎之一，除了社区的参与贡献...
Flink 中文社区网站 “Flink Learning” 全新上线！文末附最新 Flink 大厂招聘信息～...
Ververica的博客
06-16 1557
Apache Flink 是业界公认的性能优异的大数据计算引擎之一。近年来，随着越来越多学习和使用 Flink 的小伙伴加入，Flink 社区不断壮大。然而，尽管我们有完善的 Flink ...
社区资讯 | Apache Flink 中文社区网站
weixin_34248258的博客
05-17 1719
众所周知，Apache Flink 最初是由德国柏林工业大学的几个博士生和研究生从学校开始做起来的项目，2014年，其核心成员开发了 Flink，同时将 Flink 计算的主流方向定位为实时计算并在同年将 Flink 捐赠给 Apache ，后来快速孵化，成为 Apache 的顶级项目。Apache Flink 是业界公认的性能优异的大数据实时计算引擎之一，除了社区的参与贡献外，还与其商业公司 V...
flink-1.12.0-bin-scala_2.11.tgz
02-22
标题中的"flink-1.12.0-bin-scala_2.11.tgz"指的是一款基于Apache Flink的软件发行包，版本号为1.12.0，适用于Scala 2.11环境。这个tgz文件是一个压缩格式，通常用于在Linux或Unix系统中打包和分发软件。在解压后，...
Flink SQL与Kafka整合的哪些事儿
m0_62051288的博客
05-05 485
1 Flink Table与Kafka集成案例 1.1 需求 需求：Flink Table从kafka消费点击日志（JSON），转化为CSV格式之后输出到Kafka。 1.2 添加Maven依赖 FlinkTable集成Kafka需引入如下依赖： <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-kafka_${scala
从 Spark 离线数仓到 Flink 实时数仓：实战指南
最新发布
大模型大数据攻城狮的专栏
07-04 644
咱先唠唠为啥要搞这个转变。在数据处理这旮旯，离线数仓和实时数仓那可太不一样了。离线数仓就像老牛拉车，处理数据得等一阵子，适合那种对时效要求不高，但得深挖数据找规律的事儿。比如说，你想分析历史数据，看看趋势啥的，离线数仓就挺管用。可实时数仓就不一样了，它就像火箭，数据一来立马就能处理，能给你实时的分析结果。要是你需要快速响应数据变化，比如搞个实时监控、实时推荐啥的，实时数仓就贼好使。反正就是，各有各的好，得看你具体干啥用。（一）数据处理架构。
2024年最新今日指数项目之FlinkCEP介绍_flink cep的优势，看这里
2401_84181403的博客
05-05 652
计算公式：某一段时期内的成交量/发行总股数×100%成交量流通股本×100%）例如，某只股票在一个月内成交了2000万股，而该股票的流通股为1亿股，则该股票在这个月的换手率为20%。影响：一般情况，大多股票每日换手率在1%——2.5%（不包括初上市的股票）。70%的股票的换手率基本在3%以下，3%就成为一种分界。那么大于3%又意味着什么？当一支股票的换手率在3%——7%之间时，该股进入相对活跃状态。7%——10%之间时，则为强势股的出现，股价处于高度活跃当中。（广为市场关注）
【Flink】Flink进行Standalone模式的集群搭建
weixin_65690086的博客
06-24 901
【Flink】Flink进行Standalone模式的集群搭建
记录Flink On Yarn taskmanager分配不均匀问题
csdn_chshuai的博客
04-19 3167
业务场景： Flink On Yarn任务启动 组件版本： CDH：6.3.0 Flink：1.12.1 Hadoop：3.0.0 问题描述： 在使用FLink on Yarn调度过程中，发现taskmanager总是分配在集中的几个节点上，集群有11个节点，但每个任务启动，只用到两三个节点，导致这几台服务器负载过高，其他节点又比较空闲。 问题分析： 先介绍yarn的两个参数： 1、yarn.scheduler.fair.assignmultiple 2、yarn.scheduler.fair.max.
Flink
m0_49142509的博客
11-24 1164
1.概念 用Java和Scala编写的流处理框架和分布式处理引擎 对于无界和有界数据流进行有状态计算（无界，实时、有界，离线 批处理数据） 在所有常见集群环境运行，以内存速度和任何规模执行计算 达到实时流处理引擎全部标准要求（低延迟、高吞吐量、容错性、窗口时间语义化） 实时和批处理数据过程，抽象成三个过程 Source->Transform->Sink 2.架构设计 物理部署层-deploy层 支持多种部署模式：本地部署、集群部署（Standalone/Yarn/Mesos）、云（
配置flink的standalone模式启动后只有一个节点起来~2021-10-29
heyianliunian的博客
10-29 1937
1.问题情况：配置flink的standalone模式启动后只有一个hadoop101节点起来,其他两个节点没起来 2.问题原因: flink 下的 conf 的slaves应该改为workers，我没有改，就没启动! 3.解决方法: 把slavers改为workers再分发以后启动就好了 ...
【记录】FlinkSql读写kudu 编译测试全流程 附带编译包下载
遇事不决问春风
07-08 1737
写在前边：kudu性能就不多介绍了，是目前比较主流的数据库，但是可惜的是FLINKSQL居然不支持读写kudu，奇了怪。没办法，为了能写入只能自己动手了。经过查找发现有大佬已经开源过了，那么我们就在这个基础上进行就好了 一、软件版本 以下是我使用的版本。大家可以作为参考，然后根据自己的实际情况进行更改即可 CDH6.3.2 kudu 1.10.0-cdh6.3.2 Flink 1.12.2 二、前期准备 1、下载源码 git clone git://github.com/apache/bahir-fli
Flink初体验（一）
esundong的博客
08-15 312
开发工具：Idea 语言：java Flink版本：flink 1.8.1 JDK：1.8+ 一、Flink简介 Flink 是一个同时面向数据流处理和批量数据处理的开源框架和分布式处理引擎，主要由Java和Scala语言编写，具有高吞吐、低延迟、高扩展、支持容错等特性。 其以数据并行和流水线方式执行任意流数据程序，流水线运行时系统可以执行批处理和流处理程序。此外，Flink 的运行...
Flink任务问题分析与性能调优
qq_30708747的博客
11-01 6981
作者： 吴培坚——虎牙实时计算平台研发工程师 Flink调优对于问题的定性很重要，只有先确定问题性质才能针对性优化。首先要明白，Flink是分布式流计算框架，可简单理解为多个相互通讯的有状态java进程，其调优本质跟普通的java程序大同小异。 1.1 问题定位的基础： 只有具备良好的的监控数据支持，才能感知问题/异常的发生并对其快速定位。 监控指标主要分为以下三个维度： 1. Flink框架： 框架本身内嵌了很多方便运维...
如何让你的flink job任务数据流在各subtask均匀分布
阳龙生
09-23 769
如何让你的flink job任务数据流在各subtask均匀分布
如何处理 Flink 作业中的数据倾斜问题？
学一次的博客
08-31 1894
由于数据分布不均匀，造成数据大量的集中到一点，造成数据热点。举例：一个 Flink 作业包含 200 个 Task 节点，其中有 199 个节点可以在很短的时间内完成计算。但是有一个节点执行时间远超其他结果，并且随着数据量的持续增加，导致该计算节点挂掉，从而整个任务失败重启。我们可以在 Flink 的管理界面中看到任务的某一个 Task 数据量远超其他节点。大数据框架的特性不怕数据大，怕数据倾斜。jobs数比较多的作业运行效率相对比较低，如子查询比较多。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值