Flink
Flink 从初级小白 到 中级小白
高达一号
这个作者很懒,什么都没留下…
展开
-
大数据_面试_ETL组件常见问题_spark&flink
通过webui定位那个表以及jobid,jobid找对应的执行计划。spark数据处理得数据倾斜与解决方案 aqe。flink cdc如何确保幂等与一致性。spark 3.0 AQE动态优化。spark与flink的主要区别。sparksql如何调优。hdfs的常见的压缩算法。spark sql调优。hbase的数据倾斜。原创 2023-07-19 15:19:26 · 763 阅读 · 0 评论 -
Flink_探究Flink on YARN模式下TaskManager的内存分配
原文地址:https://www.jianshu.com/p/4e4c188f5d7b一个问题我们使用如下的参数提交了Flink on YARN作业(per-job模式)。/opt/flink-1.9.0/bin/flink run \--detached \--jobmanager yarn-cluster \--yarnname "x.y.z" \--yarnjobManagerMemory 2048 \--yarntaskManagerMemory 4096 \--.转载 2020-05-26 23:12:46 · 4214 阅读 · 1 评论 -
Flink_Flink On Yarn_flink资源slots 与 Yarn中container, 以及 cores 之间的关系
Based on Flink 1.10.1本文主要讲解下 flink 中 flink-conf.yaml 中有关 slots 的 配置,与 Yarn 中 container 以及 cores 的相应关系。主要涉及以下两个参数# The number of task slots that each TaskManager offers. Each slot runs one parallel pipeline.taskmanager.numberOfTaskSlots: 2...原创 2020-05-26 21:24:37 · 4375 阅读 · 1 评论 -
Flink_Flink ON YARN containerized.heap-cutoff-min 内存调整
今天,我对 Flink ON YARN 集群的内存进行下调整。我调整了 Container 容器最小的分配内存,导致了一系列的问题,这里记录一下。(1)yarn.nodemanager.resource.memory-mb 表示该节点上YARN可使用的物理内存总量,默认是8192(MB),注意,如果你的节点内存资源不够8GB,则需要调减小这个值,而YARN不会智能的探测节点的物理内存总量。(2)yarn.nodemanager.vmem-pmem-ratio 任务每使用1MB...原创 2020-05-26 19:58:53 · 1638 阅读 · 0 评论 -
Flink_Flink的第一个程序,Streaming WordCount
最近,我学习了Flink, 写了个FlinkWordCount。依赖这里使用Maven 进行代码管理 :父Pom<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocatio.原创 2020-05-25 20:01:19 · 1002 阅读 · 0 评论 -
Flink_YARN 上资源申请流程
Base on Flink 1.10.1 Flink 托管给Yarn 是一个非常常用的形式,下面我们通过官网给出的流程图,了解下 Flink On Yarn 的任务执行流程。前提 :首先,我们如果能让我们的任务在Yarn 上托管执行,我们是需要设置一些环境变量 :The YARN client needs to access the Hadoop configuration to connect to the YARN resource manager and HDFS....原创 2020-05-25 12:20:24 · 1064 阅读 · 0 评论 -
Flink_Flink 1.10 细粒度资源管理解析
原文地址https://blog.csdn.net/weixin_44904816/article/details/106066579 相信不少读者在开发 Flink 应用时或多或少会遇到在内存调优方面的问题,比如在我们生产环境中遇到最多的 TaskManager 在容器化环境下占用超出容器限制的内存而被 YARN/Mesos kill 掉[1],再比如使用 heap-based StateBackend 情况下 State 过大导致 GC 频繁影响吞吐。这些问题对于不熟悉 Fli...转载 2020-05-23 02:39:59 · 971 阅读 · 0 评论 -
Flink_Flink TaskManager 内存模型 ,以及相关内存配置参数
Flink 中 TaskManager 中模型比较复杂,本文讲解下 Flink 中的内存模型以及相关的配置 ( 基于 Flink 1.10 )内存分布简介首先我们看一下 Flink 官网给出的内存示意图 :https://ci.apache.org/projects/flink/flink-docs-release-1.10/ops/memory/mem_setup.html#set-up-task-executor-memory一般来说我们只需要选择以下3种方...原创 2020-05-23 02:03:43 · 9032 阅读 · 0 评论 -
Flink_Flink 集群搭建
本文主要讲解下 flink 如何搭建 :单节点集群standalone 集群yarn session 集群最近学习了下 Flink ,看了许多天的书,一上手搭建集群遇到了许多问题。 我在这里整理下集群搭建所遇到的问题。单节点集群 单节点集群,其实不难。主要我是虚拟机器,内存很小,所以我们要调整 task-manager 的内存参数。task-manager 的内存分配管理 与 参数配置 是一个大问题,我专门写了一篇文章 :...原创 2020-05-22 22:29:42 · 2435 阅读 · 0 评论