memcache-client-forjava 源码分析之DefaultCacheImpl分析

最新推荐文章于 2024-10-01 09:29:45 发布

weixin_33812433

最新推荐文章于 2024-10-01 09:29:45 发布

阅读量124

点赞数

文章标签： java memcached 运维

原文链接：http://blog.51cto.com/dba10g/1842575

版权

最近在研究memcached，有兴趣的朋友，欢迎围观我的memcached演练系列。

memcached演练(1) 搭建memcached服务

memcached演练(2) 访问memcached服务

memcached演练(3) 使用apache+搭建双节点tomcat集群

memcached演练(4) 使用apache+memcached-session-manager+t..

memcached演练(5) 内存管理

memcached演练(6) 高可用实例HA（伪集群方案）

memcache-client-forjava 是一款memcached高可用解决方案，由一位阿里的一个牛人开源的一个框架。项目源码发布在google.code。需要×××下载。如果不能下载，留下邮箱。

周所周知，memcache是一个分布式数据缓存组件，节点的一致性和高可用均需要在客户端实现。

这个项目已经很长时间没有更新了，最新版是2.5.1。但项目不庞大，是研究源码，提高设计能力的一个好的选择。

主要内容

1.为什么要分析缓存源码

2.将memcache-client-forjava demo maven化

3.分析DefaultCacheImpl作为起点，进行分析

1.为什么要分析缓存源码

就不说虚的啦，互联网大环境等等。如果你在各大招聘网站，刷过招聘JD，应该对一些招聘要求要求有很深的印象。

**最少熟悉一款nosql数据库，如redis,memcached等

**要求具备数据库调优，web服务调优经验...

可见缓存是我们不得不掌握的一项技能了。而且我有过一次面试，直接让“如何设计一款缓存服务”。现在想想，回答不太理想，这也是我对缓存这一块耿耿于怀的一个诱因。

分享些关于缓存的若干资源，大家有兴趣补补。

缓存一致性（Cache Coherency）入门

按一个正常访问请求来说，缓存发生地点：浏览器缓存，代理缓存（CDN缓存），web缓存（本地缓存），web分布式缓存，数据库缓存，操作系统缓存,CPU缓存。

缓存的意义：适配CPU和磁盘随机访问的速度差异，重用计算结果，降低重复计算等。

评价缓存的一些指标：命中率，过期数据清除算法等。

2.将memcache-client-forjava demo maven化

个人由于比较讨厌维护jar之间的依赖，比较喜欢使用maven管理之。

2.1 先从https://code.google.com/archive/p/memcache-client-forjava/downloads下载

2.2 由于memcache-client-forjava 并没有提交到中央仓库，所以需要我们手动上传至本地仓库。

mvn install:install-file -DgroupId=com.alisoft -DartifactId=alisoft-xplatform-asf-cache -Dversion=2.5.1 -Dpackaging=jar -Dfile=C:\Users\zhaoguoyu\Downloads\alisoft-xplatform-asf-cache-2.5.1.jar

mvn install:install-file -DgroupId=com.alisoft -DartifactId=alisoft-xplatform-asf-cache -Dversion=2.5.1 -Dpackaging=jar -Dfile=C:\Users\zhaoguoyu\Downloads\alisoft-xplatform-asf-cache-2.5.1-src.jar -DgeneratePom=true -Dclassifier=sources

2.3 pom.xml

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.alisoft.examples</groupId>
    <artifactId>asftest</artifactId>
    <version>1.0-SNAPSHOT</version>
    <packaging>jar</packaging>
    <name>asftest</name>
    <url>http://maven.apache.org</url>

    <properties>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    </properties>

    <dependencies>
        <dependency>
            <groupId>com.alisoft</groupId>
            <artifactId>alisoft-xplatform-asf-cache</artifactId>
            <version>2.5.1</version>
        </dependency>
        <dependency>
            <groupId>log4j</groupId>
            <artifactId>log4j</artifactId>
            <version>1.2.17</version>
        </dependency>
        <dependency>
            <groupId>commons-logging</groupId>
            <artifactId>commons-logging</artifactId>
            <version>1.2</version>
        </dependency>
        <dependency>
            <groupId>org.codehaus.woodstox</groupId>
            <artifactId>wstx-asl</artifactId>
            <version>3.2.1</version>
        </dependency>
        <dependency>
            <groupId>stax</groupId>
            <artifactId>stax-api</artifactId>
            <version>1.0.1</version>
        </dependency>
        <dependency>
            <groupId>com.caucho</groupId>
            <artifactId>hessian</artifactId>
            <version>4.0.7</version>
        </dependency>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.11</version>
            <scope>test</scope>
        </dependency>
    </dependencies>
</project>

2.4 复制cache-demo-2.5代码到test目录

2.5 最后的项目结构

3.分析DefaultCacheImpl

3.1 DefaultCacheImpl类图

ICache<K,V>： Cache统一接口，支持泛型。具有常用的数据的增删改查接口。
DefaultCacheImpl：实现了ICache接口，是默认的本地Cache的实现，线程安全。
CheckOutOfDateSchedule：过期数据检查任务，定期清除过期数据。
接下来，重点分析下DefaultCacheImpl具体实现

3.2 主要属性

public class DefaultCacheImpl implements ICache<String,Object>
{
/**
 * 具体内容存放的地方
 */
ConcurrentHashMap<String, Object>[] caches;
/**
 * 超期信息存储
 */
ConcurrentHashMap<String, Long> expiryCache;

/**
 * 清理超期内容的服务
 */
private  ScheduledExecutorService scheduleService;

/**
 * 清理超期信息的时间间隔，默认10分钟
 */
private int expiryInterval = 10;

/**
 * 内部cache的个数，根据key的hash对module取模来定位到具体的某一个内部的Map，
 * 减小阻塞情况发生。
 */
private int moduleSize = 10;
...
}

维护了2个ConcurrentHashMap，分别存储数据有效信息和实际数据，而ConcurrentHashMap本身是线程安全的。
scheduleService驱动CheckOutOfDateSchedule任务执行
考虑热快情况，加入了取模逻辑，降低数据争用。

3.3 初始化

public DefaultCacheImpl()
{
   init();
}

public DefaultCacheImpl(int expiryInterval,int moduleSize)
{
   this.expiryInterval = expiryInterval;
   this.moduleSize = moduleSize;
   init();
}


@SuppressWarnings("unchecked")
private void init()
{
   caches = new ConcurrentHashMap[moduleSize];
   //初始化数据存放桶
   for(int i = 0 ; i < moduleSize ;i ++)
      caches[i] = new ConcurrentHashMap<String, Object>();
   
   expiryCache = new ConcurrentHashMap<String, Long>();
   
   scheduleService = Executors.newScheduledThreadPool(1);
   //启动定时任务
   scheduleService.scheduleAtFixedRate(new CheckOutOfDateSchedule(caches,expiryCache), 
         0, expiryInterval * 60, TimeUnit.SECONDS);
   
   if (Logger.isInfoEnabled())
      Logger.info("DefaultCache CheckService is start!");
}

3.4 数据的存取

...
public boolean containsKey(String key)
{
   checkValidate(key);
   return getCache(key).containsKey(key);
}


public Object get(String key)
{
   checkValidate(key);
   return getCache(key).get(key);
}

public Object put(String key, Object value)
{
   Object result = getCache(key).put(key, value);
   expiryCache.put(key,(long)-1);
   
   return result;
}

public Object put(String key, Object value, Date expiry)
{
   Object result = getCache(key).put(key, value);
   expiryCache.put(key,expiry.getTime());
   
   return result;
}
private ConcurrentHashMap<String, Object>getCache(String key)
{
   long hashCode = (long)key.hashCode();
   
   if (hashCode < 0)
      hashCode = -hashCode;
   
   int moudleNum = (int)hashCode % moduleSize;
   
   return caches[moudleNum];
}

/**
检查key是否过期，过期则删除
*/
private void checkValidate(String key)
{
   if (expiryCache.get(key) != null && expiryCache.get(key) != -1 
         && new Date(expiryCache.get(key)).before(new Date()))
   {
      getCache(key).remove(key);
      expiryCache.remove(key);
   }
}
...

数据的存储：首先根据key 的hashCode选择合适的数据桶，还需要在expiryCache中记录过期信息。

数据的读取：首先根据key expiryCache记录，判断是否过期，过期则删除。

逻辑非常简单，但是这各默认实现，没有考虑数据回收情况。当缓存大批量数据，容易出现内存溢出。

3.5 缓存溢出再现

public class DefaultCacheImplTest{
ICache<String,Object> cache;

@Before
public void setUpBeforeClass() throws Exception
{
   cache = new DefaultCacheImpl();
}

@After
public void tearDownAfterClass() throws Exception
{
   cache.clear();
}
@Test
public void testGet()
{
   int i=0;
       while(true){
           i++;
           cache.put("key1"+i, "value"+i);
           System.out.println(""+i);;
       }

// Assert.assertEquals("value1", cache.get("key1"));
}  
...
}

为了容易再现问题，加入“-Xmx5m -Xms5m”

经过测试接近30000时，出现java.lang.OutOfMemoryError: Java heap space。

个人认为一个缓存必须要具备以下组件