每天进步一点点——分布式文件系统下的本地缓存

转载请说明出处：http://blog.csdn.net/cywosp/article/details/23970017

    在分布式文件系统中，为了提高系统的性能，常常会引入不同类型的缓存存储系统（算法优化所带来的的效果可能远远不如缓存带来的优化效果）。在软件中缓存存储系统一般可分为了两类：一、分布式缓存，例如：Memcached、Redis、淘宝的Tair等，二、本地缓存，例如：Facebook的flushcache等，其中本地缓存又可以分为两种：本地磁盘缓存（现在一般都采用读写性能比较优异的SSD来做存储）和本地内存缓存。在系统中，为了提高缓存存储系统的性能以及热点数据的命中率，一般在本地磁盘缓存中也会引入内存缓存用于存储经常访问的数据。有时为了减少客户端对服务器的请求，也会在客户端上使用缓存，当然这是要考虑安全问题的。在这里，本文主要讨论分布式文件系统下的本地磁盘缓存。

    1. 本地磁盘缓存与操作系统的关系

    根据操作系统对硬件的管理以及文件系统的存储逻辑，本地磁盘缓存在操作系统中的位置可大概分为一下三种：

                         

        一、处于Storage Controller层，OS与应用相互独立，与硬件相关联，由硬件来做读写保护

        二、处于Device Driver层，与应用独立，与硬件独立，需要第三方来完成读写保护，处于这一层的本地缓存系统有Facebook的flushcache

        三、处于File System层，OS与应用相关联，与硬件独立，需要第三方来完成读写保护，这一层的本地缓存是在应用中使用最为广泛的，本文所讨论的本地缓存也是基于此层

   2. 存储设备以及空间

    根据现有的硬件存储技术，SSD的随机读写性能以非常优异，并且其使用寿命也得到了很好的保证，因此被广泛的应用于数据需要持久化存储和高速读写的服务器中。根据性价比来考虑，一般的分布式文件系统的服务器机器中不会放置太大的SSD来做缓存存储设备。——64GB至128GB的SSD是主流。