Druid源码分析_10_LRUCache

LRUCache

LRU 缓存淘汰算法就是一种常用策略。LRU 的全称是 Least Recently Used，也就是说我们认为最近使用过的数据应该是是「有用的」，很久都没用过的数据应该是无用的，内存满了就优先删那些很久没用过的数据。

在看PsCache相关的源码时,看到了底层的数据结构是LRUCache.最近最少使用算法实现的一个读写都是O(1)的.

LRUCache 应用于哪些场景

LRUCache(int capacity)
    
    int get(int key)
    
    void put(int key, int value)

Druid 中的LRUCache

Druid中的LRUCache,他被应用到了PsCahce相关的场景,作为本地缓存PreparedStatementHolder.避免了相同PreparedStatement的反复创建于回收,通过sql作为key.

注意super(maxSize, 0.75f, true) 构造方法调用的是父类LinkedHashMap的构造方法,其中第三个参数accessOrder=true很重要.
如果accessOrder=false,那么他就不是一个LRUCache!! 因为这个accessOrder决定了get方法命中后对树的排序.

  public Map<PreparedStatementKey, PreparedStatementHolder> getMap() {
          return map;
      }
    
      public int size() {
          return this.map.size();
      }
    
    public class LRUCache extends LinkedHashMap<PreparedStatementKey, PreparedStatementHolder> {
    
        private static final long serialVersionUID = 1L;
    
        public LRUCache(int maxSize){
            // accessOrder true
            super(maxSize, 0.75f, true);
        }
    
        protected boolean removeEldestEntry(Entry<PreparedStatementKey, PreparedStatementHolder> eldest) {
            // 当map的长度 大于 maxPoolPreparedStatementPerConnectionSize
            boolean remove = (size() > dataSource.getMaxPoolPreparedStatementPerConnectionSize());
    
            // 进行删除
            if (remove) {
                closeRemovedStatement(eldest.getValue());
            }
    
            return remove;
        }
    }
    

public void closeRemovedStatement(PreparedStatementHolder holder) {
        if (LOG.isDebugEnabled()) {
            String message = null;
            if (holder.statement instanceof PreparedStatementProxy) {
                PreparedStatementProxy stmtProxy = (PreparedStatementProxy) holder.statement;
                if (stmtProxy instanceof CallableStatementProxy) {
                    message = "{conn-" + stmtProxy.getConnectionProxy().getId() + ", cstmt-" + stmtProxy.getId()
                              + "} exit cache";
                } else {
                    message = "{conn-" + stmtProxy.getConnectionProxy().getId() + ", pstmt-" + stmtProxy.getId()
                              + "} exit cache";
                }
            } else {
                message = "stmt exit cache";
            }
    
            LOG.debug(message);
        }
    
        holder.setPooling(false);
        // 如果正在使用中,那么就不会remove
        if (holder.isInUse()) {
            return;
        }
    
        // 如果是oracle
        if (holder.isEnterOracleImplicitCache()) {
            try {
                // 剔除缓存并且关闭,此方法对应put时候的enterImplicitCache
                OracleUtils.exitImplicitCacheToClose(holder.statement);
            } catch (Exception ex) {
                LOG.error("exitImplicitCacheToClose error", ex);
            }
        }
    
        // 其他数据库 statement.close
        dataSource.closePreapredStatement(holder);
    }
    

当LRUCache容器满了,怎么剔除所谓最早的节点

自己实现的LRUCache需要实现LinkedHashMap的removeEldestEntry方法

参考LinkedHashMap的afterNodeInsertion

void afterNodeInsertion(boolean evict) { // possibly remove eldest
            LinkedHashMap.Entry<K,V> first;
            if (evict && (first = head) != null && removeEldestEntry(first)) {
                K key = first.key;
                removeNode(hash(key), key, null, false, true);
            }
        }
    

PreparedStatementPool的删除逻辑

当触发LRUCache的删除节点逻辑后, 我们还需要把我们的PreparedStatementPool进行close.

1. LRUCache进行put操作,获取返回值
2. 根据put操作的返回值判断重复,覆盖,新增三种对map的put情况
3. 如果是重复put了同一个key,同一个值,那么就return
4. 如果是覆盖,就是相同的key,但是不同的值.那么返回旧值stmtHolder,要对齐的废除操作进行回收. oldStmtHolder.close()
5. 如果是新增则计数

// 插入LRUCache
    public void put(PreparedStatementHolder stmtHolder) throws SQLException {
      PreparedStatement stmt = stmtHolder.statement;
    
      if (stmt == null) {
          return;
      }
    
      if (dataSource.isOracle() && dataSource.isUseOracleImplicitCache()) {
          OracleUtils.enterImplicitCache(stmt);
          stmtHolder.setEnterOracleImplicitCache(true);
      } else {
          stmtHolder.setEnterOracleImplicitCache(false);
      }
    
      // 插入LRUCache
      // 插入已经存在的key 会返回旧值,同理新的key没有旧值所以返回null
      PreparedStatementHolder oldStmtHolder = map.put(stmtHolder.key, stmtHolder);
    
      // 重复插入
      if (oldStmtHolder == stmtHolder) {
          return;
      }
    
      // 覆盖key对应的值 逻辑.关闭以前的Statement,因为新的Statement被放入了LRUCache
      if (oldStmtHolder != null) {
          oldStmtHolder.setPooling(false);
          // 成功后显示调用类似于LinkedHashMap的afterNodeInsertion去做插入成功后的删除动作(容量限制,删除最少使用)
          closeRemovedStatement(oldStmtHolder);
      } else {
          // 新增key
          if (stmtHolder.getHitCount() == 0) {
              dataSource.incrementCachedPreparedStatementCount();
          }
      }
    
      stmtHolder.setPooling(true);
    
      if (LOG.isDebugEnabled()) {
          String message = null;
          if (stmtHolder.statement instanceof PreparedStatementProxy) {
              PreparedStatementProxy stmtProxy = (PreparedStatementProxy) stmtHolder.statement;
              if (stmtProxy instanceof CallableStatementProxy) {
                  message = "{conn-" + stmtProxy.getConnectionProxy().getId() + ", cstmt-" + stmtProxy.getId()
                            + "} enter cache";
              } else {
                  message = "{conn-" + stmtProxy.getConnectionProxy().getId() + ", pstmt-" + stmtProxy.getId()
                            + "} enter cache";
              }
          } else {
              message = "stmt enter cache";
          }
    
          LOG.debug(message);
      }
    }
    

问题

那么明显有个问题,对LRUCache的新增操作,被剔除的PrepareStatment不进行处理会导致内存泄漏.因为没有关闭啊!

 protected boolean removeEldestEntry(Entry<PreparedStatementKey, PreparedStatementHolder> eldest) {
        // 当map的长度 大于 maxPoolPreparedStatementPerConnectionSize
        boolean remove = (size() > dataSource.getMaxPoolPreparedStatementPerConnectionSize());
    
        if (remove) {
            // 先close statement,再从map中剔除对象,等待gc
            closeRemovedStatement(eldest.getValue());
        }
    
        return remove;
    }