超级会员免费看
本文介绍了Flink的分布式缓存功能，用于在流处理或批处理任务中方便地访问本地文件。缓存机制确保文件在每个TaskManager节点上本地可用，避免重复拉取。内容包括缓存的注册、使用步骤，以及两个具体的应用案例：缓存文件内容和在机器学习模型训练中的应用。
扫一扫加入大数据公众号和技术交流群，了解更多大数据技术，还有免费资料等你哦
简介
Flink提供了一个分布式缓存，在flink流处理或者批处理，用户在并行函数中可以很方便的读取本地文件，并把它放在taskmanager节点中，防止task重复拉取。原因是flink不能像mapReduce一样让计算随着数据所在的位置进行计算，此缓存的工作机制如下：程序注册一个文件或者目录(本地或者远程文件系统，例如hdfs或者s3)，通过ExecutionEnvironment或StreamExecutionEnvironment注册缓存文件并为它起一个名称。当程序执行，Flink自动将文件或者目录复制到所有taskmanager节点的本地文件系统，仅会执行一次。用户可以通过这个指定的名称查找文件或者目录，
订阅专栏 解锁全文
982
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
