集中缓存有两层概念：
- 第一层是缓存，即为存储在HDFS中文件提供缓存的机制，从而可以加速DFSClient对文件的读操作；
- 第二层概念是集中式的管理，传统的HDFS缓存依赖了OS本身的缓存机制，但是这种缓存机制不能被管理员或中央节点进行管理，不能自由的控制哪些文件缓存，哪些文件不进行缓存；集中式的管理可以提高了对缓存内存的可控性；
HDFS中集中缓存架构如下所示：
本文介绍了HDFS中的集中缓存管理，包括缓存机制、集中式管理、用户交互方式以及NN和DN的角色。NN维护缓存路径列表，DN根据心跳协议缓存Blocks。管理员通过API与NN交互，控制缓存的添加、删除。缓存池有权限和配额限制，DN的最大锁定内存限制缓存大小。此外，还讨论了相关配置参数，如汇报间隔和缓存更新频率。
最低0.47元/天 解锁文章
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
