三种处理缓存失效的策略

缓存过期失效时，需要从持久化层获取数据。从持久化层获取数据一般耗时较长，且CPU/内存消耗较高。

参考了http://www.zrwm.com/?p=7265，处理缓存失效主要有三种方式，写了个Servlet对其进行了验证。

测试端启动200个线程，每个线程请求200次，每次间隔100ms。

1，getDataNoLock()。缓存失效时，所有没有获取到缓存的线程均去访问持久化层；

    这个方法应用服务器CPU利用率是最低的，峰值CPU为50%左右。但是持久化层在3000ms的访问期间被访问多次，压力巨大。另外访问持久化层期间页面不响应。

2，getDataByThreadLock()。缓存失效时，由一个线程获得锁，单独访问，其他线程挂起；

   这个方法在缓存过期的时候只有一个线程访问持久化层。但是访问期间大量线程积压，造成瞬间CPU冲高到200%，并且持久化返回结果存入Memcached后， 所有线程在短短300ms内返回，对网络带宽也是很大的冲击。另外访问持久化层期间页面不响应。

3，getDataByUpdate()。在缓存失效前由一个线程更新缓存。

  这个方法在缓存过期前，就提前由一个后台线程更新Memcached。虽然也用到了锁，但是锁住时间（Memcached置LOCK标志时间）与方法2（持久化时间）相比极短。并且持久化访问由后台线程进行，不影响创建后台线程的业务线程及时放回。另外，页面访问期间也不会有卡顿的现象出现。

   如果是几十台上百台服务器的集群环境，可以增加Memcached更新消息处理服务器。应用服务器发现Memcached需要更新的时候，发送JMS消息给消息处理服务器，由其完成Memcached更新过程，从而彻底解放更新缓存过程。