扫一扫加入大数据公众号和技术交流群,了解更多大数据技术,还有免费资料等你哦
简介
Flink提供了一个分布式缓存,在flink流处理或者批处理,用户在并行函数中可以很方便的读取本地文件,并把它放在taskmanager节点中,防止task重复拉取。原因是flink不能像mapReduce一样让计算随着数据所在的位置进行计算,此缓存的工作机制如下:程序注册一个文件或者目录(本地或者远程文件系统,例如hdfs或者s3),通过ExecutionEnvironment或StreamExecutionEnvironment注册缓存文件并为它起一个名称。当程序执行,Flink自动将文件或者目录复制到所有taskmanager节点的本地文件系统,仅会执行一次。用户可以通过这个指定的名称查找文件或者目录,