分布式缓存学习笔记（九）—— 缓存生存时间

只有在缓存永不超时的情况下，我们才需要在集群新增节点时进行节点再平衡。如果设置了缓存生存时间 (time to live，TTL)，管理员就可以选择不进行节点再平衡，因为老节点上的缓存迟早会因为超时而被删除。
本章我们就来讨论缓存生存时间的作用并实现缓存的超时功能。

缓存生存时间的作用

缓存是用来提升访问网络资源的速度，而不是为了永久存储这些资源。这些资源存储在另外的位置，只是访问的速度比较慢，不能满足系统的需要。当客户端需要访问这些资源时，它首先去缓存里面查找，如果找不到对应的键，才去资源实际存储的地方获取，然后将其缓存起来，以备下次快速取用。

然而实际存储的资源有可能会在缓存不知情的情况下被更新，所以我们需要种技术，能够强制要求缓存刷新。缓存生存时间就是这样一种技术，它规定了缓存自从上一次被 Set 之后的有效期。超过这个有效期后，该键值对被认为超时(expired)，并从缓存服务中被删除。当客户端下次 Get 时发现找不到键值对，缓存生存时间就能强制客户端再次去实际存储的位置获取。

除了强制客户端刷新缓存以外，缓存的生存时间还可以被用于控制缓存的总量。一般来说，缓存的总量小于资源的实际储量，我们做不到也没必要将所有资源都缓存起来，所以需要实现一个缓存淘汰策略。有了缓存生存时间，我们就可以将较老的缓存清理出去，为新的缓存留出空间，实现一个先进先出的淘汰策略。缓存生存时间的设置需要根据资源实际的更新速度或者缓存容量决定。

如果我们的主要目的是强制刷新，那么缓存的生存时间可以设置为资源平均更新时间的一半。如果客户端对资源的实时性要求较高，则生存时间还要适当减少。如果我们的主要目的是限制一定的缓存容量，那么需要限制的空间越小，则生存时间越短。举例来说，假设我们的系统资源总量是 100GB，客户端是随机访问要求 10%的缓存命中率，那么缓存容量需要保持在资源总量的 10%，也就是 10GB。如果系统的平均吞吐量是 100MB/s，那么生存时间需设置为 100s。

接下来就让我们来看看如何给本书的缓存服务设置生存时间以及如何实现缓存超时的功能。