超级会员免费看
本文详细介绍了Flink中的分布式缓存和广播变量的区别。分布式缓存基于磁盘，将文件复制到各节点本地文件系统，而广播变量存储在内存中，作为公共共享变量供所有任务访问。两者都能避免数据多次复制，但广播变量适用于小数据集，以防止内存溢出，并且一旦广播就不支持修改，确保数据一致性。
区别:
1.广播变量是基于内存的,是将变量分发到各个worker节点的内存上（避免多次复制，节省内存）
2.分布式缓存是基于磁盘的,将文件copy到各个节点上,当函数运行时可以在本地文件系统检索该文件（避免多次复制，提高执行效率）
分布式缓存：
Flink提供了一个分布式缓存，类似于hadoop，可以使用户在并行函数中很方便的读取本地文件，并把它放在taskmanager节点中，防止task重复拉取。
此缓存的工作机制如下：程序注册一个文件或者目录(本地或者远程文件系统，例如hdfs或者s3)，通过ExecutionEnvironment注册缓存文件并为它起一个名称。
当程序执行，Flink自动将文件或者目录复制到所有taskmanager节点的本地文件系统，仅会执行一次。用户可以通过这个指定的名称查找文件或者目录，然后从taskmanager节点的本地文件系统访问它。
Broadcast 广播变量：
一句话解释，可以理解为是一个公共的共享变量，我们可以把一个dataset
订阅专栏 解锁全文
扫一扫
1499
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
