【云星数据---Apache Flink实战系列(精品版)】：Apache Flink高级特性与高级应用003-Flink的内存管理003

最新推荐文章于 2024-03-08 20:55:07 发布
最新推荐文章于 2024-03-08 20:55:07 发布
阅读量7k 收藏
点赞数 1
分类专栏： bigdata cloudcomputing flink 文章标签： apache java 内存管理 应用 数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liguohuaBigdata/article/details/78569675
版权
bigdata 同时被 3 个专栏收录
187 篇文章 2 订阅
订阅专栏
cloudcomputing
183 篇文章 0 订阅
订阅专栏
flink
86 篇文章 57 订阅
订阅专栏

三、测试flink内存管理的表现

国外有人做了一个测试，比较flink,kryo,java三种序列化方式的表现。
详情见：http://flink.apache.org/news/2015/05/11/Juggling-with-Bits-and-Bytes.html

处理效率对比

这里写图片描述

GC和内存使用率对比

这里写图片描述

不难看出，flink的内存管理机制，在整个测试中所表现优势还是非常明显的！
李国华技术博客
关注
专栏目录
Flink面试整理-对Flink的高级特性如CEP（复杂事件处理）、状态后端选择和调优等有所了解
不务正业的猿
05-29 246
Apache Flink 提供了一系列高级特性，使其成为一个强大的实时数据处理框架，特别适用于复杂的数据处理场景。RocksDBStateBackend：一个基于 RocksDB 的本地状态后端，适用于大规模状态管理，支持增量检查点。通过深入理解和合理应用 Flink 的这些高级特性，可以大大提升应用程序的性能和灵活性，更好地满足复杂的业务需求。Flink 提供了一个专门的 CEP 库，用于在数据流中定义和检测复杂事件模式。对于需要实时查询状态的应用，可以使用 Flink 的可查询状态特性。
从0到1Flink的成长之路(十七)-高级特性(Flink四大基石)
熊老二的博客
06-13 846
Flink 高级特性（一） 1. Flink 四大基石 Flink之所以能这么流行，离不开它最重要的四个基石：Checkpoint、State、Time、Window。 Checkpoint Flink最重要的一个特性，Flink基于Chandy-Lamport算法实现了一个分布式的一致性的快 照，从而提供了一致性的语义。 Chandy-Lamport算法实际上在1985年的时候已经被提出来，但并没有被很广泛的应用， 而Flink则把这个算法发扬光大了。 checkpoint State 提供了一致性的语
【云星数据---Apache Flink实战系列(精品版)】：Apache Flink高级特性与高级应用007-Slot和Parallelism的深入分析002
云星数据-http://www.cloud-star.com.cn
11-18 7335
三、并行度（parallelism）和任务链（Task Chains）1.并行度1.flink架构是分布式的，也就决定了程序（Progrram）和数据流（Dataflows）也是分别式的。 2.Dataflow也是一个分布式概念，它的Stream被查分成Stream-Partition,Operator被查分成subtask. Stream-Partition本质就是data-partition
flink--8 fink的一些高级特性 Boradcast Accumulators Distributed Cache
m0_37139189的博客
06-20 231
l把元素广播给所有的分区，数据会被重复处理 •类似于storm中的allGrouping •dataStream.broadcast() l广播变量允许编程人员在每台机器上保持1个只读的缓存变量，而不是传送变量的副本给tasks l广播变量创建后，它可以运行在集群中的任何function上，而不需要多次传递给集群节点。另外需要记住，不应该修改广播变量，这样才能确保每个节点获取到的值都是一致...
云星数据VP楼炜：CMP是混合云、多云管理的必然选择
云布道师
03-19 293
关注上方“Linux宝库”点亮开源人生随着云计算模式的日渐成熟，作为私有云和公有云的混合形态，混合云迎来了爆发期。“私有云+”的混合云新需求如笔者另文所述，当前国内的混合云需求中，并不是...
【云星数据---Apache Flink实战系列(精品版)】：Apache Flink高级特性与高级应用002-Flink的内存管理002
云星数据-http://www.cloud-star.com.cn
11-18 7364
二、flink的内存管理机制0.flink的内存划分1.flink在JVM的heap内有自己的内存管理空间。 2.在flink中内存被分为三个部分，分别是Unmanaged区域，Managed区域，Network-Buffer区域 3.Unmanaged区域是指flink不管理这部分区域，它的管理由JVM管理，用于存放User Code 4.Managed区域是指flink管理这部分区域，它不受jv
【云星数据---Apache Flink实战系列(精品版)】：Apache Flink实战基础0013--flink分布式部署008
云星数据-http://www.cloud-star.com.cn
11-14 1115
FlinkOnYarn模式下集群最简部署实战一、配置yarn1.编辑yarn-site.xml1.编辑命令 vim ${HADOOP_HOME}/etc/hadoop/yarn-site.xml2.配置内容 <property> <name>yarn.nodemanager.vmem-pmem-ratio</name> <value>4</value> </propert
【云星数据---Apache Flink实战系列(精品版)】：Apache Flink高级特性与高级应用001-Flink的内存管理001
云星数据-http://www.cloud-star.com.cn
11-18 7186
一、基于JVM的大数据生态圈1.bigdata on jvm1.现在大多数开源大数据处理框架都是基于jvm的，像 Apache Hadoop,Apache Spark,Apache Hbase, Apache Kafka,Apache Flink等。 2.JVM上的程序一方面享受着它带来的好处，也要承受着JVM带来的弊端。2.jvm的弊端1.JVM的OOM问题 利用JVM平台开发的程序都会受到O
【云星数据---Apache Flink实战系列(精品版)】：Apache Flink高级特性与高级应用008-Slot和Parallelism的深入分析003
云星数据-http://www.cloud-star.com.cn
11-19 7105
四、任务槽（task-slot）和槽共享（Slot Sharing）1.任务槽（Task slot）1.flink的TM就是运行在不同节点上的JVM进程（process）,这个进程会拥有一定量的资源。比如内存，cpu，网络，磁盘等。 flink将进程的内存进行了划分到多个slot中.图中有2个TaskManager，每个TM有3个slot的，每个slot占有1/3的内存。2.内存被划分到不同的s
【云星数据---Apache Flink实战系列(精品版)】：Apache Flink高级特性与高级应用009-Slot和Parallelism的深入分析004
云星数据-http://www.cloud-star.com.cn
11-19 7231
五、slot和parallelism1.slot是指taskmanager的并发执行能力taskmanager.numberOfTaskSlots:3 每一个taskmanager中的分配3个TaskSlot,3个taskmanager一共有9个TaskSlot2.parallelism是指taskmanager实际使用的并发能力parallelism.default:1 运行程序默认的并行度为1
25-Flink-高级特性-新特性-Flie Sink
Eistert
07-01 184
Flink-高级特性-新特性-Flie Sink package cn.itcast.feature; import org.apache.commons.lang3.SystemUtils; import org.apache.flink.api.common.RuntimeExecutionMode; import org.apache.flink.api.common.functions.FlatMapFunction; import org.apache.flink.api.common.fu
【云星数据---Apache Flink实战系列(精品版)】：Apache Flink高级特性与高级应用015-Flink中广播变量和分布式缓存001
云星数据-http://www.cloud-star.com.cn
11-19 7817
1.flink中的广播变量flink支持将变量广播到worker上，以供程序运算使用。执行程序package code.book.batch.sinksource.scala import java.util import org.apache.flink.api.common.functions.RichMapFunction import org.apache.flink.api.scala.{
从0到1Flink的成长之路(二十)-Flink 高级特性（二）之Savepoint
熊老二的博客
07-03 183
Savepoint 保存点由用户手动创建、拥有和删除，它们的用例用于有计划的、手动的备份和恢复。 savepoints Savepoint 介绍 Savepoint：保存点，类似于以前玩游戏的时候，遇到难关/遇到boss，赶紧手动存个档，然后接着玩，如果失败了，赶紧从上次的存档中恢复，然后接着玩。 在实际开发中，可能会遇到这样的情况：如要对集群进行停机维护/扩容… 那么这时候需要执行一次Savepoint，也就是执行一次手动的Checkpoint，也就是手动的发一个barrier栅栏，那么这样的话，程序的
【云星数据---Apache Flink实战系列(精品版)】：Apache Flink高级特性与高级应用006-Slot和Parallelism的深入分析001
云星数据-http://www.cloud-star.com.cn
11-18 7712
一、flink架构1.flink是一个主从结构的分布式程序，它由client和cluster两部分组成。2.cluster由主节点JobManager（JM）和从节点TaskManager组成(TM)。 a.JM负责协调分布式执行：调度Task、协调检查点、协调失效恢复等工作。 JM至少要有一个，也可有多个。多个JM可基于zookeeper做HA,一个active，其余stand
【云星数据---Apache Flink实战系列(精品版)】：Apache Flink批处理API详解与编程实战026--DateSet实用API详解026
云星数据-http://www.cloud-star.com.cn
11-18 6873
一、Flink DateSet定制API详解(JAVA版) -003Reduce以element为粒度，对element进行合并操作。最后只能形成一个结果。执行程序：package code.book.batch.dataset.advance.api;import org.apache.flink.api.common.functions.ReduceFunction; import org.ap
天云星数据库介绍
weixin_34122810的博客
08-13 679
天云星数据库（简称：SCSDB）是深圳市汉云科技有限公司自主研发的国产、面向海量数据结构化数据存储、查询分析及挖掘的分布式数据库系统。 其设计目标是用来弥补传统分布式非关系型数据库在关系查询上的不足和传统关系型数据库在处理海量数据时的理论、实现上的局限性以及解决数据仓库分析不灵活的问题。 它使用类SQL语言进行管理，具有类似Oracle、Mysql等...
21-Flink-高级特性-新特性-双流Join
Eistert
07-01 146
Flink-高级特性-新特性-双流Join join的分类 API https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/stream/operators/joining.html 代码演示-WindowJoin package cn.itcast.feature; import com.alibaba.fastjson.JSON; import lombok.Data; import org.apache.f
flink重温笔记（十二）： flink 高级特性和新特性（1）——End-to-End Exactly-Once（端到端精确一致性语义）
最新发布
m0_60732994的博客
03-08 1562
顺序：At most once（最多一次）< At least once（至少一次）< Exactly once（精确一次）< End to End Exactly once（端到端一次）最简单的恢复方式，直接从失败的下个数据恢复程序，丢失刚刚失败的数据。由于事件是可以重传的，可能造成数据重复。依赖 checkpoint 机制，回滚恢复数据，保持所有记录仅影响内部状态一次，即不考虑部分数据泄露到下游。Flink 应用从 Source 端开始到 Sink 端结束，保持所有记录影响内部和外部状态一次，即考虑部
【云星数据---flink实战系列001】：flink简介
云星数据-http://www.cloud-star.com.cn
11-09 884
第一部分：flink概况一、flink简介 1.flink和spark类似，是一个通用的，基于内存计算的，大数据处理引擎。 2.2009年是德国柏林理工大学一个研究性项目，用Java和Scala混合编写而成的。原项目名称为stratosphere 项目地址为http://stratosphere.eu 3.2014年被Apache孵化器所接受，迅速地成为了阿帕奇顶级项目ASF(Apache So
金蝶云星空V7.2：智慧工厂云与MES系统升级
财务云方面，金蝶云星空V7.2提供了全面的财务管理功能，包括财务会计、成本管理、资产管理、预算管理、总账、智能会计平台等多个子模块，覆盖了从基础会计核算到高级财务管理的各个环节，帮助企业实现财务业务的自动...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值