flink-12 flink分布式缓存

最新推荐文章于 2024-08-29 17:46:06 发布
最新推荐文章于 2024-08-29 17:46:06 发布
阅读量770 收藏 2
点赞数
分类专栏： Flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a3125504x/article/details/108718316
版权
本文介绍了Flink的分布式缓存机制，包括概念和用法。Flink的分布式缓存类似Hadoop的分布式缓存，允许用户在并行函数中访问本地文件。它包括广播变量和分布式缓存两种方式，其中广播变量存储在TaskManager中，而分布式缓存则是从外部加载文件或目录到每个TaskManager。
摘要由CSDN通过智能技术生成

flink分布式缓存

概念

Flink提供了一个类似于hadoop分布式缓存，可以使用户在并行函数中很方便的读取本地文件。

  • 广播变量是将一些共享的数据放在TaskManager内存中
  • 而Distribute cache是从外部加载一个文件/目录(例如hdfs)，然后分别复制到每一个TaskManager的本地磁盘中。

用法

1.使用Flink运行环境调用registerCachedFile注册一个分布式缓存
env.registerCachedFile("hdfs:///path/to/your/file", "hdfsFile")  

2. 获取分布式缓存
File myFile = getRuntimeContext().getDistributedCache().getFile("hdfsFile");

import java.util

import org.apache.commons.io.FileUtils
import org.apache.flink.api.common.functions.RichMapFunction
import org.apache.flink.api.scala.ExecutionEnvironment
import org.apache.flink.configuration.Configuration

import scala.io
最低0.47元/天 解锁文章
爱吃甜食_
关注
专栏目录
Flink的分布式缓存
打酱油的葫芦娃
09-16 5076
分布式缓存 Flink提供了一个分布式缓存，类似于hadoop，可以使用户在并行函数中很方便的读取本地文件，并把它放在taskmanager节点中，防止task重复拉取。 此缓存的工作机制如下：程序注册一个文件或者目录(本地或者远程文件系统，例如hdfs或者s3)，通过ExecutionEnvironment注册缓存文件并为它起一个名称。 当程序执行，Flink自动将文件或者目录复制到所有task...
【Flink】Flink分布式缓存
一杯咖啡半杯糖的博客
02-10 1430
适用于批处理, 适用于把使用频率比较高的文件放到本地task内存中， 注意：需要我们缓存的文件在任务运行期间最好是只读状态，否则会造成数据的一致性问题。另外，缓存的文件和数据不宜过大，否则会影响 Task 的执行速度，在极端情况下会造成 OOM。 下面来看下如何进行应用 首先在项目中创建一个本地文件distributedcache.txt，里面添加数据，文件也可放在hdfs上执行 aaa bbb ccc 接下来进行实际的使用 package com.test; import org.
9.Flink 分布式缓存
Leeyehong_self的专栏
03-30 631
1.分布式缓存 1.1 介绍 1.1.1 技术细节 1.分布式文件缓存的作用与广播变量类似，也是为了避免出现join 操作发生数据倾斜而设计出来的 2.与广播变量不同之处在于： 广播变量中封装的数据类型是: DataSet, DataStream 分布式文件缓存中封装的数据类型是File 3.分布式文件缓存底层如何运作？ 将分布式文件系统上的资源文件装载到TaskManager进程所...
Flink优化之--旁路缓存和异步IO
最新发布
datacreating的博客
08-29 890
在异步模式下，单个并行子任务可以连续发送多个请求，按照返回的先后顺序对请求进行处理，发送请求后不需要阻塞式等待，省去了大量的等待时间，大幅提高了流处理效率。默认情况下，在Flink 算子中，单个并行子任务只能以同步方式与外部系统交互：将请求发送到外部存储，IO阻塞，等待请求返回，然后继续发送下一个请求。这就是flink的简单优化，综合来看，旁路缓存和异步IO的引入不仅解决了传统计算中存在的瓶颈问题，还为系统的可扩展性和稳定性提供了坚实的保障。堆缓存，性能更好，效率更高，因为数据访问路径更短。
大数据技术：7-Flink的分布式缓存
yuhun001的博客
05-22 252
分布式缓存 Flink提供了一个分布式缓存，类似于hadoop，可以使用户在并行函数中很方便的读取本地文件，并把它放在taskmanager节点中，防止task重复拉取。 此缓存的工作机制如下：程序注册一个文件或者目录(本地或者远程文件系统，例如hdfs或者s3)，通过ExecutionEnvironment注册缓存文件并为它起一个名称。 当程序执行，Flink自动将文件或者目录复制到所有tas...
Flink完全分布式集群安装
hellozhxy的博客
05-17 701
Flink支持完全分布式模式，这时它由一个master节点和多个worker节点构成。在本节，我们将搭建一个如下的三个节点的Flink集群。 一、Flink集群安装、配置和运行 Flink完全分布式集群搭建步骤如下： 1、配置从master到worker节点的SSH无密登录，并保持保节点上相同的目录结构。 2、Flink要求在主节点和所有工作节点上设置JAVA_HOME环境变量，并指向Java安装的目录。 使用如下命令检查Java的安装和版本信息： $ java -version 3、
Flink Checkpoint-轻量级分布式快照.pdf
03-21
4. **状态持久化**：Flink 提供了多种状态后端，如内存、文件系统（HDFS）、分布式缓存（如 RocksDB），用于持久化和恢复状态。RocksDB 后端特别适用于处理大量状态，因为它提供了高效的磁盘存储和快速的查找性能。 ...
flink-local-train:flink入门到项目实践
05-06
文章会对Flink中基本API如：DataSet、DataStream、Table、Sql和常用特性如：Time&Window、窗口函数、Watermark、触发器、分布式缓存、异步IO、侧输出、广播和高级应用如：ProcessFunction、状态管理等知识点进行整理...
Flink / Scala 实战 - 5.ProcessFunction 之间共用缓存测试
BITDDD小栈
08-17 660
Flink 开发中有如下场景，数据需要经过两次 ProcessFunction 处理，第一步 ProcessV1的一些信息重复不想通过每条数据传输至 ProcessV2，这时便捷的方法时对 ProcessV1 需要存储的元素进行去重缓存，保证全局共用一份缓存，可以有效减少储存空间，下面分别尝试三种缓存方式： A.ValueState 缓存 B.HashMapCache 缓存 C.RedisCahce 缓存......
实时数仓之Flink实现版本维表数据的Redis全局缓存
道可道非常道
05-04 1026
在维度模型中，数据通常被划分为维度和事实两大阵营，而维度通常是渐变(Kimball维度模型领域通常称呼这种维度为缓慢变化维度或者又被称为渐变维度)的，这种场景下，要求我们在维表建模过程中，要更多的考虑维度版本的变化，保存维度变化的维表模型可以方便在ETL和应用过程中可以让事实数据匹配自己对应的维度信息，这种场景在实时数仓构建过程中是比较常见的。通常在维度建模过程中，针对渐变维表建模的方式主要有以下几种方案：Kimball渐变维表类型2(可以认为是方案)技术方案。
Flink（20）：Flink之分布式缓存
yang_shibiao的博客
07-11 2092
0. 相关文章链接 1. Flink中分布式缓存概述 Flink提供了一个类似于Hadoop的分布式缓存，让并行运行实例的函数可以在本地访问。 这个功能可以被使用来分享外部静态的数据，例如：机器学习的逻辑回归模型等。 广播变量是将变量分发到各个TaskManager节点的内存上，分布式缓存是将文件缓存到各个TaskManager节点上。 2. 编码步骤 注册一个分布式缓存文件：env.registerCachedFile("hdfs:///path/file", "cachefilename")
flink分布式高可用集群部署
雪辉博客
07-28 1214
文章目录一、部署规划1.1 版本说明1.2 服务器规划二、flink部署2.1 解压安装包并配置环境变量2.2 修改核心配置文件2.2.1 配置 flink-conf.yaml2.2.2 配置 masters、workers2.2.3 将flink jar包拷贝至lib2.2.4 将安装包分发给其他节点2.3 启动flink 一、部署规划 1.1 版本说明 软硬件信息 参数 配置 2C2G 操作系统版本 CentOS Linux release 7.7.1908 (Core) jav
【Flink】Flink TaskManager 一直 User file cache uses directory
九师兄
12-31 261
1.概述 taskmanager日志一直是这个，是我资源给我的不够么 对应的代码如下，可以看到窗口FileCache的 时候，循环窗帘临时目录，这里走了if，所以仅仅是打了Info日志，并没有报错 @VisibleForTesting FileCache( String[] tempDirectories, PermanentBlobService blobService, ScheduledExecutorService
【flink配置系列】FLink配置大全
wang2leee的博客
10-13 2649
所有配置都在`conf/flink-conf.yaml`中完成，这个文件应该是一个扁平的[YAML键值对](http://www.yaml.org/spec/1.2/spec.html)集合，格式为`key: value`。配置在Flink进程启动时被解析和评估。对配置文件的更改需要重新启动相关的进程。
Flink 分布式缓存 实例
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
06-24 710
版本： flink1.9.2,java1.8 package DistributedCache; import org.apache.commons.io.FileUtils; import org.apache.flink.api.common.functions.RichMapFunction; import org.apache.flink.configuration.Configuration; import org.apache.flink.streaming.api.datastream.
7-Flink的分布式缓存
weixin_34417814的博客
03-02 108
　　分布式缓存　　Flink提供了一个分布式缓存，类似于hadoop，可以使用户在并行函数中很方便的读取本地文件，并把它放在taskmanager节点中，防止task重复拉取。　　此缓存的工作机制如下：程序注册一个文件或者目录(本地或者远程文件系统，例如hdfs或者s3)，通过ExecutionEnvironment注册缓存文件并为它起一个名称。　　当程序执行，Flink自动将文件或者目录复制到所...
flink 缓存问题处理过程，看我十八般武艺
我是香菜
11-17 1854
flink 问题解决过程
详解 Flink 的常见部署方式
weixin_44480009的博客
06-06 2179
Yarn 模式是指客户端把 Flink 应用提交给 Yarn 的 ResourceManager, Yarn 的 ResourceManager 会在 Yarn 的 NodeManager 上创建容器。YARN 的高可用是只启动一个 Jobmanager, 当这个 Jobmanager 挂了之后, YARN 会再次启动一个, 本质是利用的 YARN 的重试次数来实现的高可用。将编码好的 Flink maven 工程打成 jar 包，并将 jar 包上传到 flink 安装目录下的 lib 目录。
"学习Flink-流批一体API和流处理概念
在学习Flink-流批一体API的过程中，我们需要掌握一系列的概念和操作符，比如数据流的来源、转换和输出，以及Flink特有的累加器、广播变量和分布式缓存等。通过对这些概念和操作符的学习和掌握，我们可以更好地利用...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值