flink1.10 task任务负载均衡

已于 2022-02-14 15:33:18 修改
阅读量1k 收藏 7
点赞数
分类专栏： flink 文章标签： 负载均衡 运维 均匀发布任务
于 2022-01-17 15:46:55 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42170236/article/details/122541425
版权

适用于flink 1.10版本
原来是这样的，任务没有均衡分配到每一个taskmanager上
在这里插入图片描述
配置中增加如下

#1.10 允许在所有的 TaskManager 上均匀地分布任务
cluster.evenly-spread-out-slots: true

重启后查看，已经均衡分配到每一个taskmanager节点上
在这里插入图片描述

say荣帅
关注
  • 0
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Flink源码解析八之任务调度和重启容错
击水三千里的专栏
11-03 1092
Flink Task调度基于执行图,分为流式和批处理两种模式。Task结构包含运行时上下文和执行逻辑。调度器负责部署和管理Task,支持失败重启和容错。整体流程是从Source开始,逐步部署下游Task,实现数据的流式处理。
Flink ResourceManager资源管理
李孟的博客
03-21 1562
文章目录一.基本概念1.1 相关组件1.2 逻辑层次1.3 两层资源调度二.机制与策略(Flink1.10)2.1 TaskManager有哪些资源？2.2 Slot有哪些资源？2.3 TaskManager管理2.4 Cluster -> Job 资源调度的过程2.5 Job -> Task 资源调度的过程2.6 资源调优 一.基本概念 1.1 相关组件 一个 Flink Cluster 是由一个 Flink Master 和多个 Task Manager 组成的，Flink Master
flink入门_Flink从入门到放弃之源码解析系列-第8章 任务调度与负载均衡
weixin_39970823的博客
11-23 416
Flink从入门到放弃之源码解析系列Flink组件和逻辑计划Flink执行计划生成JobManager中的基本组件(1)JobManager中的基本组件(2)JobManager中的基本组件(3)TaskManager算子网络水印WaterMarkCheckPoint任务调度与负载均衡异常处理Alibaba Blink新特性1前言前面已经介绍了一系列的 flink 任务抽象、网络传输、可靠性机制等...
Flink数据分区与负载均衡
程序员光剑
01-18 979
1.背景介绍 Flink是一个流处理框架，用于处理大规模数据流。在Flink中，数据分区是一种将数据划分为多个部分以便在多个任务节点上并行处理的方法。负载均衡是一种将数据分布在多个节点上以避免单个节点负载过重的策略。这篇文章将讨论Flink数据分区和负载均衡的背景、核心概念、算法原理、实例代码和未来趋势。 1.1 Flink的重要性 Flink是一个用于大规模数据流处理的开源框架。它支持实时...
中电金信：技术实践｜Flink多线程实现异构集群的动态负载均衡
zhongdianjinxin的博客
08-15 224
这个想法很好，也在实践过程中取得了一定的效果，但是它有一个小问题：这样做会导致每个节点的流量一直抖动，抖动的频次和上报权重的时间呈正相关的关系，而且从监控来看，这样做也会导致处理的总数据量不太稳定。在理想情况下，我们假设服务端有节点1、节点2、节点3，且3个节点性能都一致，每个节点都开32个并行度处理。我们在每个Slot内部实现一个生产者-消费者模型，再创建和模型节点相同数量的线程，让每个线程固定的请求一个节点，就算这个节点卡死或者处理速度缓慢，也只会影响当前线程，对整个subTask的影响有限。
Flink调度策略优化：Task均衡
qq_30708747的博客
09-03 4020
Flink调度策略优化：Task均衡 一、背景： flink任务部署使用基于k8s的standalone集群，先在容器上部署flink集群再提交flink任务，其中flink任务的提交与taskmanager的创建、注册是同时进行的。 二、问题 如果集群有35个taskmanager，其中一个Vertex的并行度<=35，属于该vertex的task会调度到同个taskmanager上，导致节点负载不均衡。 如下所示， 该flink拓扑拥有5个vertex，其中两个vertex并行度为140，其他
Flink的分区策略与负载均衡
程序员光剑
01-18 857
1.背景介绍 Flink是一个流处理框架，用于处理大规模数据流。在Flink中，数据流被划分为多个分区，每个分区由一个任务处理。为了实现高效的数据处理和负载均衡，Flink提供了多种分区策略。在本文中，我们将讨论Flink的分区策略与负载均衡。 2.核心概念与联系 在Flink中，分区策略是用于将数据流划分为多个分区的算法。分区策略的目的是将数据分布到多个任务上，以实现并行处理和负载均衡。F...
flink提交任务参数
GavinKai
04-01 4060
网上参数众说纷纭不切实际 提交yarn任务参数设置： 参数 建议值 描述 -n (taskmanager) 节点数*（4-8） 1.10已废弃 该参数为Flink的taskmanager数目，Flink引擎运行需要由一个jobmanager以及若干个taskmanager构成。每个taskmanager都是独立的一部分，当有Flink应用需要运行时，会被随机分配到一个taskmana
Flink面试大全总结（全文6万字、110个知识点、160张图）
逆流而上Mr李
08-31 2289
添加作者微信：threeknowbigdata，备注Flink，获取文章PDF版本 Hello，各位大数据学习爱好者，我是3分钟秒懂大数据公众号的作者土哥，目前在杭州某互联网大厂担任大数据算法工程师，组内专注于Flink流式计算组件以及AB融合技术，为了让更多朋友更清晰的了解流式计算组件，现在我以面试的方式为大家全面总结了Flink所涉及的知识点，全文总共6万字，涉及各种原理，以及源码分析，图片是一张张绘制而出，欢迎大家进行解读！ 在互联网行业，我们都知道薪资结构跟岗位存在直接关系，如下面这幅关..
Flink 资源管理机制
weixin_51217776的博客
10-15 168
基本概念 1.1 相关组件 我们今天介绍的主要是与 Flink 资源管理相关的组件，我们知道一个 Flink Cluster 是由一个 Flink Master 和多个 Task Manager 组成的，Flink Master 和 Task Manager 是进程级组件，其他的组件都是进程内的组件。 图 1. Flink 资源管理相关组件 如图 1 所示，一个 Flink Master 中有一个 Resource Manager 和多个 Job Manager ，Flink Master 中每一个 .
2024年07月数据月报
最新发布
SmartSi
08-03 1348
2024年07月数据月报，为您准备了阿里、字节、百度等大厂120多篇实践案例
如何让你的flink job任务数据流在各subtask均匀分布
阳龙生
09-23 738
如何让你的flink job任务数据流在各subtask均匀分布
复杂Flink任务Task均衡调度和优化措施
微信搜：import_bigdata，大数据领域硬核原创作者
05-30 1106
300万字！全网最全大数据学习面试社区等你来！一、背景：flink任务部署使用基于k8s的standalone集群，先在容器上部署flink集群再提交flink任务，其中flink任务的提交与taskmanager的创建、注册是同时进行的。二、问题如果集群有35个taskmanager，140个slot，其中一个Vertex的并行度<140，属于该vertex的task在taskmanage...
实时Flink的性能调优和资源管理
程序员光剑
01-28 920
1.背景介绍 在大数据处理领域，实时流处理是一种重要的技术，用于实时分析和处理数据流。Apache Flink是一个流处理框架，具有高性能和低延迟的特点。为了充分利用Flink的潜力，我们需要对其进行性能调优和资源管理。本文将详细介绍Flink的性能调优和资源管理，包括背景介绍、核心概念、算法原理、最佳实践、应用场景、工具推荐和未来趋势。 1. 背景介绍 Apache Flink是一个用于大...
flink优化思路:
u011250186的博客
12-15 242
问题1：Flink滑动时间窗口数量撑爆，解决思路 比如需要处理每15秒窗口数据，每1毫秒滑动一次，通过底层创建窗口源码看到会创建15000个窗口，在这个窗口数量级的情况下数据的处理是非常慢的，需求是例如，每15秒数据值达到阈值做处理，因为每1秒的数据就会有几十万起，请问这种处理应该怎么处理？ 使用reduceByKeyAndWindow等窗口，尽量映入fold function、re...
Flink（三十四）—— Flink 使用大状态时的一点优化
weixin_42073629的博客
10-19 912
一、为什么要优化？（优化背景） Flink 支持多种 StateBackend，当状态比较大时目前只有 RocksDBStateBackend 可供选择。RocksDB 是基于 LSM 树原理实现的 KV 数据库，LSM 树读放大问题比较严重，因此对磁盘性能要求比较高，强烈建议生产环境使用 SSD 做为 RocksDB 的存储介质。但是有些集群可能并没有配置 SSD，仅仅是普通的机械硬盘，当 Flink 任务比较大，且对状态访问比较频繁时，机械硬盘的磁盘 IO 可能成为性能瓶颈。在这种情况下，该如何解决此
Apache Flink Standalone 集群搭建
qq_38189542的博客
08-15 845
背景 因参与大数据项目调研需要使用Apache Flink进行数据处理并写入Elasticsearch数据库，故而整理该集群搭建文章避免遗忘。本次搭建使用三台物理服务器。 服务器信息 192.168.2.244（master、slave） 192.168.2.245（slave） 192.168.2.246（slave） 192.168.2.244作为master节点，同时兼slave节点 其他两台服务器作为slave节点 操作系统 Cent OS 7 软件版本 JDK 14.0.2 Apache F
Flink流批一体计算（5）：部署运行模式
victory0508的专栏
06-24 668
这种模式的好处是可以充分利用集群资源，提高集群机器的利用率，并且只需要1套Hadoop集群，就可以执行MR和Spark任务，还可以执行 Flink 任务等，操作非常方便，不需要维护多套集群，运维方面也很轻松。这种方式创建的 Flink 集群会独占资源，不管有没有 Flink 任务在执行，YARN 上面的其他任务都无法使用这些资源。在local模式下，不需要启动任何的进程，仅仅是使用本地线程来模拟flink的进程，适用于测试开发调试等，这种模式下，不用更改任何配置，只需要保证jdk8安装正常即可。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值