扩展Guava缓存溢出到磁盘

缓存使您可以轻松地显着加速应用程序。 Java平台的两种出色的缓存实现是Guava缓存和Ehcache 。 尽管Ehcache功能丰富得多（例如其Searchable API ，将缓存持久化到磁盘或溢出到大内存的可能性），但与Guava相比，它也带来了相当大的开销。 在最近的项目中，我发现需要将全面的缓存溢出到磁盘上，但是与此同时，我经常需要使该缓存的特定值无效。 由于Ehcache的Searchable API仅可用于内存中的缓存，因此这使我陷入了两难境地。 但是，扩展Guava缓存以允许以结构化方式溢出到磁盘非常容易。 这使我既溢出到磁盘，又需要必需的失效功能。 在本文中，我想展示如何实现这一目标。

我将以实际Guava Cache实例的包装器形式实现此文件持久性缓存FilePersistingCache 。 当然，这不是最优雅的解决方案（更优雅的方法是使用此行为来实现实际的Guava Cache ），但是在大多数情况下，我都会这样做。

首先，我将定义一个受保护的方法，该方法创建前面提到的后备缓存：

private LoadingCache<K, V> makeCache() {
  return customCacheBuild()
    .removalListener(new PersistingRemovalListener())
    .build(new PersistedStateCacheLoader());
}
 
protected CacheBuilder<K, V> customCacheBuild(CacheBuilder<K, V> cacheBuilder) {
  return CacheBuilder.newBuilder();
}

第一种方法将在内部用于构建必要的缓存。 为了实现对缓存的任何自定义要求（例如，过期策略），应该重写第二种方法。 例如，这可以是条目或软引用的最大值。 此缓存将与其他任何Guava缓存一样使用。 缓存功能的关键是用于此缓存的RemovalListener和CacheLoader 。 我们将这两个实现定义为FilePersistingCache内部类：

private class PersistingRemovalListener implements RemovalListener<K, V> {
  @Override
  public void onRemoval(RemovalNotification<K, V> notification) {
    if (notification.getCause() != RemovalCause.COLLECTED) {
      try {
        persistValue(notification.getKey(), notification.getValue());
      } catch (IOException e) {
        LOGGER.error(String.format("Could not persist key-value: %s, %s",
          notification.getKey(), notification.getValue()), e);
      }
    }
  }
}
 
public class PersistedStateCacheLoader extends CacheLoader<K, V> {
  @Override
  public V load(K key) {
    V value = null;
    try {
      value = findValueOnDisk(key);
    } catch (Exception e) {
      LOGGER.error(String.format("Error on finding disk value to key: %s",
        key), e);
    }
    if (value != null) {
      return value;
    } else {
      return makeValue(key);
    }
  }
}

从代码中可以明显FilePersistingCache ，这些内部类调用了我们尚未定义的FilePersistingCache方法。 这使我们可以通过重写此类来定义自定义序列化行为。 删除侦听器将检查清除缓存条目的原因。 如果RemovalCause被COLLECTED ，缓存条目没有由用户手动删除，但它已被删除作为高速缓存的驱逐策略的结果。 因此，如果用户不希望删除缓存条目，我们将仅尝试保留该条目。 CacheLoader将首先尝试从磁盘还原现有值并仅在无法还原该值时创建一个新值。

缺少的方法定义如下：

private V findValueOnDisk(K key) throws IOException {
  if (!isPersist(key)) return null;
  File persistenceFile = makePathToFile(persistenceDirectory, directoryFor(key));
  (!persistenceFile.exists()) return null;
  FileInputStream fileInputStream = new FileInputStream(persistenceFile);
  try {
    FileLock fileLock = fileInputStream.getChannel().lock();
    try {
      return readPersisted(key, fileInputStream);
    } finally {
      fileLock.release();
    }
  } finally {
    fileInputStream.close();
  }
}
 
private void persistValue(K key, V value) throws IOException {
  if (!isPersist(key)) return;
  File persistenceFile = makePathToFile(persistenceDirectory, directoryFor(key));
  persistenceFile.createNewFile();
  FileOutputStream fileOutputStream = new FileOutputStream(persistenceFile);
  try {
    FileLock fileLock = fileOutputStream.getChannel().lock();
    try {
      persist(key, value, fileOutputStream);
    } finally {
      fileLock.release();
    }
  } finally {
    fileOutputStream.close();
  }
}
 
 
private File makePathToFile(@Nonnull File rootDir, List<String> pathSegments) {
  File persistenceFile = rootDir;
  for (String pathSegment : pathSegments) {
    persistenceFile = new File(persistenceFile, pathSegment);
  }
  if (rootDir.equals(persistenceFile) || persistenceFile.isDirectory()) {
    throw new IllegalArgumentException();
  }
  return persistenceFile;
}
 
protected abstract List<String> directoryFor(K key);
 
protected abstract void persist(K key, V value, OutputStream outputStream)
  throws IOException;
 
protected abstract V readPersisted(K key, InputStream inputStream)
  throws IOException;
 
protected abstract boolean isPersist(K key);

所实现的方法在同步文件访问并确保流被适当关闭的同时，还要注意对值进行序列化和反序列化。 最后四种方法仍然是抽象的，由缓存的用户来实现。 directoryFor(K)方法应为每个密钥标识一个唯一的文件名。 在最简单的情况下，密钥的K类的toString方法是以这种方式实现的。 另外，我还对persist ， readPersisted和isPersist方法进行了抽象化处理，以实现自定义序列化策略，例如使用Kryo 。 在最简单的情况下，您将使用内置的Java功能，该功能使用ObjectInputStream和ObjectOutputStream 。 对于isPersist ，假设仅在需要序列化时才使用此实现，则将返回true 。 我添加了此功能以支持混合缓存，在混合缓存中，您只能将值序列化为某些键。 确保不关闭persist和readPersisted方法中的流，因为文件系统锁依赖于要打开的流。 上面的实现将为您关闭流。

最后，我添加了一些服务方法来访问缓存。 当然，实现Guava的Cache接口将是一个更优雅的解决方案：

public V get(K key) {
  return underlyingCache.getUnchecked(key);
}
 
public void put(K key, V value) {
  underlyingCache.put(key, value);
}
 
public void remove(K key) {
  underlyingCache.invalidate(key);
}
 
protected Cache<K, V> getUnderlyingCache() {
  return underlyingCache;
}

当然，可以进一步改善该解决方案。 如果您在并发场景中使用缓存，请注意， RemovalListener是除大多数Guava缓存方法以外的异步执行的。 从代码显而易见，我添加了文件锁，以避免在文件系统上发生读/写冲突。 但是，这种异步性确实意味着即使内存中仍然有一个值，也很少有机会重新创建值条目。 如果需要避免这种情况，请确保在包装器的get方法中调用基础缓存的cleanUp方法。 最后，切记在缓存过期时清理文件系统。 最佳地，您将使用系统的临时文件夹存储高速缓存条目，从而完全避免此问题。 在示例代码中，目录由名为persistenceDirectory的实例字段表示，该实例字段可以例如在构造函数中初始化。

更新 ：我对上面描述的内容进行了干净的实现，您可以在Git Hub页面和Maven Central上找到这些实现。 如果需要将缓存对象存储在磁盘上，请随时使用它。

参考： My Java博客上的JCG合作伙伴 Rafael Winterhalter 扩展了Guava缓存以溢出到磁盘 。

翻译自: https://www.javacodegeeks.com/2013/12/extending-guava-caches-to-overflow-to-disk.html