memcached基本配置与使用

一、概念

Memcached是danga.com开发的一套分布式内存对象缓存系统，用于在动态系统中减少数据库负载，提升性能。

二、原理

Memcached有两个核心组件组成：服务端（ms）和客户端（mc）。首先mc拿到ms列表，并对key做hash转化，根据hash值确定kv对所存的ms位置。然后在一个memcached的查询中，mc先通过计算key的hash值来确定kv对所处在的ms位置。当ms确定后，客户端就会发送一个查询请求给对应的ms，让它来查找确切的数据。因为ms之间并没有护卫备份，也就不需要互相通信，所以效率较高。

三、适用场合
1.分布式应用。由于memcached本身基于分布式的系统，所以尤其适合大型的分布式系统。
2.数据库前段缓存。数据库常常是网站系统的瓶颈。数据库的大并发量访问，常常造成网站内存溢出。当然我们也可以使用Hibernate的缓存机制。但memcached是基于分布式的，并可独立于网站应用本身，所以更适合大型网站进行应用的拆分。
3.服务器间数据共享。举例来讲，我们将网站的登录系统、查询系统拆分为两个应用，放在不同的服务器上，并进行集群，那这个时候用户登录后，登录信息如何从登录系统服务器同步到查询系统服务器呢？这时候，我们便可以使用memcached，登录系统将登录信息缓存起来，查询系统便可以获得登录信息，就像获取本地信息一样。

四、客户端版本

Memcached Client目前有一下四种：
Memcached Client forJava，比 SpyMemcached更稳定、更早、更广泛；
SpyMemcached，比 Memcached Client for Java更高效；
XMemcached，比 SpyMemcache并发效果更好。
alisoft-xplatform-asf-cache阿里软件的架构师岑文初进行封装的。里面的注释都是中文的，比较好

五、服务器端

安装

这里介绍windows环境的安装。
1.下载memcache的windows稳定版，解压放某个盘下面，比如在c:\memcached
2.在cmd下输入 'c:\memcached\memcached.exe -d install' 安装
3.再输入： 'c:\memcached\memcached.exe -d start' 启动。
以后memcached将作为windows的一个服务每次开机时自动启动。这样服务器端已经安装完毕了。

内存分配

默认情况下，ms是用一个内置的叫“块分配器”的组件来分配内存的。舍弃c++标准的malloc/free的内存分配，而采用块分配器的主要目的 是为了避免内存碎片，否则操作系统要花费更多时间来查找这些逻辑上连续的内存块（实际上是断开的）。用了块分配器，ms会轮流的对内存进行大块的分配，并 不断重用。当然由于块的大小各不相同，当数据大小和块大小不太相符的情况下，还是有可能导致内存的浪费。

同时，ms对key和data都有相应的限制，key的长度不能超过250字节，data也不能超过块大小的限制 --- 1MB。
因为 mc所使用的hash算法，并不会考虑到每个ms的内存大小。理论上mc会分配概率上等量的kv对给每个ms，这样如果每个ms的内存都不太一样，那可能 会导致内存使用率的降低。所以一种替代的解决方案是，根据每个ms的内存大小，找出他们的最大公约数，然后在每个ms上开n个容量=最大公约数的 instance，这样就等于拥有了多个容量大小一样的子ms，从而提供整体的内存使用率。

缓存策略

当ms的hash表满了之后，新的插入数据会替代老的数据，更新的策略是LRU（最近最少使用），以及每个kv对的有效时限。Kv对存储有效时限是在mc端由app设置并作为参数传给ms的。

同时ms采用是偷懒替代法，ms不会开额外的进程来实时监测过时的kv对并删除，而是当且仅当，新来一个插入的数据，而此时又没有多余的空间放了，才会进行清除动作。

六、范例

1.加载commons-pool-1.5.6.jar、java_memcached-release_2.6.6.jar、slf4j-api-1.6.1.jar、slf4j-simple-1.6.1.jar

2.创建memcached工具类：

[java] view plain copy

1. publicclassMemcachedUtil{
3. /**
4. *memcached客户端单例
5. */
6. privatestaticMemCachedClientcachedClient=newMemCachedClient();
8. /**
9. *初始化连接池
10. */
11. static{
12. //获取连接池的实例
13. SockIOPoolpool=SockIOPool.getInstance();
15. //服务器列表及其权重
16. String[]servers={"127.0.0.1:11211"};
17. Integer[]weights={3};
19. //设置服务器信息
20. pool.setServers(servers);
21. pool.setWeights(weights);
23. //设置初始连接数、最小连接数、最大连接数、最大处理时间
24. pool.setInitConn(10);
25. pool.setMinConn(10);
26. pool.setMaxConn(1000);
27. pool.setMaxIdle(1000*60*60);
29. //设置连接池守护线程的睡眠时间
30. pool.setMaintSleep(60);
32. //设置TCP参数，连接超时
33. pool.setNagle(false);
34. pool.setSocketTO(60);
35. pool.setSocketConnectTO(0);
37. //初始化并启动连接池
38. pool.initialize();
40. //压缩设置，超过指定大小的都压缩
41. //cachedClient.setCompressEnable(true);
42. //cachedClient.setCompressThreshold(1024*1024);
43. }
45. privateMemcachedUtil(){
46. }
48. publicstaticbooleanadd(Stringkey,Objectvalue){
49. returncachedClient.add(key,value);
50. }
52. publicstaticbooleanadd(Stringkey,Objectvalue,Integerexpire){
53. returncachedClient.add(key,value,expire);
54. }
56. publicstaticbooleanput(Stringkey,Objectvalue){
57. returncachedClient.set(key,value);
58. }
60. publicstaticbooleanput(Stringkey,Objectvalue,Integerexpire){
61. returncachedClient.set(key,value,expire);
62. }
64. publicstaticbooleanreplace(Stringkey,Objectvalue){
65. returncachedClient.replace(key,value);
66. }
68. publicstaticbooleanreplace(Stringkey,Objectvalue,Integerexpire){
69. returncachedClient.replace(key,value,expire);
70. }
72. publicstaticObjectget(Stringkey){
73. returncachedClient.get(key);
74. }
76. }

3. 创建需要缓存的对象：

[java] view plain copy

1. publicclassUserBeanimplementsSerializable{
3. privatestaticfinallongserialVersionUID=9174194101246733501L;
5. privateStringusername;
7. privateStringpassword;
9. publicUserBean(Stringusername,Stringpassword){
10. this.username=username;
11. this.password=password;
12. }
14. publicStringgetUsername(){
15. returnusername;
16. }
18. publicvoidsetUsername(Stringusername){
19. this.username=username;
20. }
22. publicStringgetPassword(){
23. returnpassword;
24. }
26. publicvoidsetPassword(Stringpassword){
27. this.password=password;
28. }
30. @Override
31. publicinthashCode(){
32. finalintprime=31;
33. intresult=1;
34. result=prime*result
35. +((password==null)?0:password.hashCode());
36. result=prime*result
37. +((username==null)?0:username.hashCode());
38. returnresult;
39. }
41. @Override
42. publicbooleanequals(Objectobj){
43. if(this==obj)
44. returntrue;
45. if(obj==null)
46. returnfalse;
47. if(getClass()!=obj.getClass())
48. returnfalse;
49. UserBeanother=(UserBean)obj;
50. if(password==null){
51. if(other.password!=null)
52. returnfalse;
53. }elseif(!password.equals(other.password))
54. returnfalse;
55. if(username==null){
56. if(other.username!=null)
57. returnfalse;
58. }elseif(!username.equals(other.username))
59. returnfalse;
60. returntrue;
61. }
63. @Override
64. publicStringtoString(){
65. return"username:"+username+",password:"+password;
66. }
67. }

4.创建测试用例：

[java] view plain copy

1. publicclassMemcachedUtilTest{
3. @Test
4. publicvoidtestMemcached(){
5. MemcachedUtil.put("hello","world",60);
6. Stringhello=(String)MemcachedUtil.get("hello");
7. Assert.assertEquals("world",hello);
9. for(inti=0;i<10000000;++i){
10. UserBeanuserBean=newUserBean("Jason"+i,"123456-"+i);
11. MemcachedUtil.put("user"+i,userBean,60);
12. Objectobj=MemcachedUtil.get("user"+i);
13. Assert.assertEquals(userBean,obj);
14. }
15. }
16. }

5.通过spring注入memcached：

[html] view plain copy

1. <?xmlversion="1.0"encoding="UTF-8"?>
2. <beansxmlns="http://www.springframework.org/schema/beans"
3. xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
4. xsi:schemaLocation="http://www.springframework.org/schema/beans
5. http://www.springframework.org/schema/beans/spring-beans.xsd">
7. <beanid="memcachedPool"class="com.danga.MemCached.SockIOPool"
8. factory-method="getInstance"init-method="initialize">
9. <constructor-arg>
10. <value>neeaMemcachedPool</value>
11. </constructor-arg>
12. <propertyname="servers">
13. <list>
14. <value>127.0.0.1:11211</value>
15. </list>
16. </property>
17. <propertyname="initConn">
18. <value>20</value>
19. </property>
20. <propertyname="minConn">
21. <value>10</value>
22. </property>
23. <propertyname="maxConn">
24. <value>50</value>
25. </property>
26. <propertyname="nagle">
27. <value>false</value>
28. </property>
29. <propertyname="socketTO">
30. <value>3000</value>
31. </property>
32. </bean>
33. <beanid="memcachedClient"class="com.danga.MemCached.MemCachedClient">
34. <constructor-arg>
35. <value>neeaMemcachedPool</value>
36. </constructor-arg>
37. </bean>
38. </beans>

6.创建测试用例：

[java] view plain copy

1. publicclassMemcachedSpringTest{
3. privateMemCachedClientcachedClient;
5. @Before
6. publicvoidinit(){
7. ApplicationContextcontext=newClassPathXmlApplicationContext("com/luo/config/beans.xml");
8. cachedClient=(MemCachedClient)context.getBean("memcachedClient");
9. }
11. @Test
12. publicvoidtestMemcachedSpring(){
13. UserBeanuser=newUserBean("luo","hi");
14. cachedClient.set("user",user);
15. UserBeancachedBean=(UserBean)user;
16. Assert.assertEquals(user,cachedBean);
17. }
18. }

七、注意点

第一、memcached是在服务器端的内存中缓存对象的，不是缓存或硬盘；

第二、memcached的pool可以关联多个server，

String[] servers = {"10.20.185.12:11001","10.20.185.25:11001"};
Integer[] weights = {3,7};

该配置表示30%的缓存在放在第一台服务器，70%的将放在第二台服务器，这样便可以充分利用不同服务器的内存了；

第三、我最困惑的是client是如何得到相应的pool的，后然看了点源码才知道是这样的。client是通过pool的name关联到某个pool的，上面的例子中在SockIOPoolpool=SockIOPool.getInstance(); 和MemCachedClientclient=newMemCachedClient();虽然都没写poolName，但就是新建了一个”default“的pool，然后client关联到了这个”default“的pool。当然我们在新建这两个对象时可以给定具体的poolName。

下一篇：memcached真实项目中的应用http://blog.csdn.net/sup_heaven/article/details/32728477

参考文章：

http://snowolf.iteye.com/blog/1471805

http://my249645546.iteye.com/blog/1420061

http://blog.csdn.NET/loujinhe/article/details/8491673?reload

http://hzp.iteye.com/blog/1872664

一、概念

Memcached是danga.com开发的一套分布式内存对象缓存系统，用于在动态系统中减少数据库负载，提升性能。

二、原理

Memcached有两个核心组件组成：服务端（ms）和客户端（mc）。首先mc拿到ms列表，并对key做hash转化，根据hash值确定kv对所存的ms位置。然后在一个memcached的查询中，mc先通过计算key的hash值来确定kv对所处在的ms位置。当ms确定后，客户端就会发送一个查询请求给对应的ms，让它来查找确切的数据。因为ms之间并没有护卫备份，也就不需要互相通信，所以效率较高。

三、适用场合
1.分布式应用。由于memcached本身基于分布式的系统，所以尤其适合大型的分布式系统。
2.数据库前段缓存。数据库常常是网站系统的瓶颈。数据库的大并发量访问，常常造成网站内存溢出。当然我们也可以使用Hibernate的缓存机制。但memcached是基于分布式的，并可独立于网站应用本身，所以更适合大型网站进行应用的拆分。
3.服务器间数据共享。举例来讲，我们将网站的登录系统、查询系统拆分为两个应用，放在不同的服务器上，并进行集群，那这个时候用户登录后，登录信息如何从登录系统服务器同步到查询系统服务器呢？这时候，我们便可以使用memcached，登录系统将登录信息缓存起来，查询系统便可以获得登录信息，就像获取本地信息一样。

四、客户端版本

Memcached Client目前有一下四种：
Memcached Client forJava，比 SpyMemcached更稳定、更早、更广泛；
SpyMemcached，比 Memcached Client for Java更高效；
XMemcached，比 SpyMemcache并发效果更好。
alisoft-xplatform-asf-cache阿里软件的架构师岑文初进行封装的。里面的注释都是中文的，比较好

五、服务器端

安装

这里介绍windows环境的安装。
1.下载memcache的windows稳定版，解压放某个盘下面，比如在c:\memcached
2.在cmd下输入 'c:\memcached\memcached.exe -d install' 安装
3.再输入： 'c:\memcached\memcached.exe -d start' 启动。
以后memcached将作为windows的一个服务每次开机时自动启动。这样服务器端已经安装完毕了。

内存分配

默认情况下，ms是用一个内置的叫“块分配器”的组件来分配内存的。舍弃c++标准的malloc/free的内存分配，而采用块分配器的主要目的 是为了避免内存碎片，否则操作系统要花费更多时间来查找这些逻辑上连续的内存块（实际上是断开的）。用了块分配器，ms会轮流的对内存进行大块的分配，并 不断重用。当然由于块的大小各不相同，当数据大小和块大小不太相符的情况下，还是有可能导致内存的浪费。

同时，ms对key和data都有相应的限制，key的长度不能超过250字节，data也不能超过块大小的限制 --- 1MB。
因为 mc所使用的hash算法，并不会考虑到每个ms的内存大小。理论上mc会分配概率上等量的kv对给每个ms，这样如果每个ms的内存都不太一样，那可能 会导致内存使用率的降低。所以一种替代的解决方案是，根据每个ms的内存大小，找出他们的最大公约数，然后在每个ms上开n个容量=最大公约数的 instance，这样就等于拥有了多个容量大小一样的子ms，从而提供整体的内存使用率。

缓存策略

当ms的hash表满了之后，新的插入数据会替代老的数据，更新的策略是LRU（最近最少使用），以及每个kv对的有效时限。Kv对存储有效时限是在mc端由app设置并作为参数传给ms的。

同时ms采用是偷懒替代法，ms不会开额外的进程来实时监测过时的kv对并删除，而是当且仅当，新来一个插入的数据，而此时又没有多余的空间放了，才会进行清除动作。

六、范例

1.加载commons-pool-1.5.6.jar、java_memcached-release_2.6.6.jar、slf4j-api-1.6.1.jar、slf4j-simple-1.6.1.jar

2.创建memcached工具类：

[java] view plain copy

1. publicclassMemcachedUtil{
3. /**
4. *memcached客户端单例
5. */
6. privatestaticMemCachedClientcachedClient=newMemCachedClient();
8. /**
9. *初始化连接池
10. */
11. static{
12. //获取连接池的实例
13. SockIOPoolpool=SockIOPool.getInstance();
15. //服务器列表及其权重
16. String[]servers={"127.0.0.1:11211"};
17. Integer[]weights={3};
19. //设置服务器信息
20. pool.setServers(servers);
21. pool.setWeights(weights);
23. //设置初始连接数、最小连接数、最大连接数、最大处理时间
24. pool.setInitConn(10);
25. pool.setMinConn(10);
26. pool.setMaxConn(1000);
27. pool.setMaxIdle(1000*60*60);
29. //设置连接池守护线程的睡眠时间
30. pool.setMaintSleep(60);
32. //设置TCP参数，连接超时
33. pool.setNagle(false);
34. pool.setSocketTO(60);
35. pool.setSocketConnectTO(0);
37. //初始化并启动连接池
38. pool.initialize();
40. //压缩设置，超过指定大小的都压缩
41. //cachedClient.setCompressEnable(true);
42. //cachedClient.setCompressThreshold(1024*1024);
43. }
45. privateMemcachedUtil(){
46. }
48. publicstaticbooleanadd(Stringkey,Objectvalue){
49. returncachedClient.add(key,value);
50. }
52. publicstaticbooleanadd(Stringkey,Objectvalue,Integerexpire){
53. returncachedClient.add(key,value,expire);
54. }
56. publicstaticbooleanput(Stringkey,Objectvalue){
57. returncachedClient.set(key,value);
58. }
60. publicstaticbooleanput(Stringkey,Objectvalue,Integerexpire){
61. returncachedClient.set(key,value,expire);
62. }
64. publicstaticbooleanreplace(Stringkey,Objectvalue){
65. returncachedClient.replace(key,value);
66. }
68. publicstaticbooleanreplace(Stringkey,Objectvalue,Integerexpire){
69. returncachedClient.replace(key,value,expire);
70. }
72. publicstaticObjectget(Stringkey){
73. returncachedClient.get(key);
74. }
76. }

3. 创建需要缓存的对象：

[java] view plain copy

1. publicclassUserBeanimplementsSerializable{
3. privatestaticfinallongserialVersionUID=9174194101246733501L;
5. privateStringusername;
7. privateStringpassword;
9. publicUserBean(Stringusername,Stringpassword){
10. this.username=username;
11. this.password=password;
12. }
14. publicStringgetUsername(){
15. returnusername;
16. }
18. publicvoidsetUsername(Stringusername){
19. this.username=username;
20. }
22. publicStringgetPassword(){
23. returnpassword;
24. }
26. publicvoidsetPassword(Stringpassword){
27. this.password=password;
28. }
30. @Override
31. publicinthashCode(){
32. finalintprime=31;
33. intresult=1;
34. result=prime*result
35. +((password==null)?0:password.hashCode());
36. result=prime*result
37. +((username==null)?0:username.hashCode());
38. returnresult;
39. }
41. @Override
42. publicbooleanequals(Objectobj){
43. if(this==obj)
44. returntrue;
45. if(obj==null)
46. returnfalse;
47. if(getClass()!=obj.getClass())
48. returnfalse;
49. UserBeanother=(UserBean)obj;
50. if(password==null){
51. if(other.password!=null)
52. returnfalse;
53. }elseif(!password.equals(other.password))
54. returnfalse;
55. if(username==null){
56. if(other.username!=null)
57. returnfalse;
58. }elseif(!username.equals(other.username))
59. returnfalse;
60. returntrue;
61. }
63. @Override
64. publicStringtoString(){
65. return"username:"+username+",password:"+password;
66. }
67. }

4.创建测试用例：

[java] view plain copy

1. publicclassMemcachedUtilTest{
3. @Test
4. publicvoidtestMemcached(){
5. MemcachedUtil.put("hello","world",60);
6. Stringhello=(String)MemcachedUtil.get("hello");
7. Assert.assertEquals("world",hello);
9. for(inti=0;i<10000000;++i){
10. UserBeanuserBean=newUserBean("Jason"+i,"123456-"+i);
11. MemcachedUtil.put("user"+i,userBean,60);
12. Objectobj=MemcachedUtil.get("user"+i);
13. Assert.assertEquals(userBean,obj);
14. }
15. }
16. }

5.通过spring注入memcached：

[html] view plain copy

1. <?xmlversion="1.0"encoding="UTF-8"?>
2. <beansxmlns="http://www.springframework.org/schema/beans"
3. xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
4. xsi:schemaLocation="http://www.springframework.org/schema/beans
5. http://www.springframework.org/schema/beans/spring-beans.xsd">
7. <beanid="memcachedPool"class="com.danga.MemCached.SockIOPool"
8. factory-method="getInstance"init-method="initialize">
9. <constructor-arg>
10. <value>neeaMemcachedPool</value>
11. </constructor-arg>
12. <propertyname="servers">
13. <list>
14. <value>127.0.0.1:11211</value>
15. </list>
16. </property>
17. <propertyname="initConn">
18. <value>20</value>
19. </property>
20. <propertyname="minConn">
21. <value>10</value>
22. </property>
23. <propertyname="maxConn">
24. <value>50</value>
25. </property>
26. <propertyname="nagle">
27. <value>false</value>
28. </property>
29. <propertyname="socketTO">
30. <value>3000</value>
31. </property>
32. </bean>
33. <beanid="memcachedClient"class="com.danga.MemCached.MemCachedClient">
34. <constructor-arg>
35. <value>neeaMemcachedPool</value>
36. </constructor-arg>
37. </bean>
38. </beans>

6.创建测试用例：

[java] view plain copy

1. publicclassMemcachedSpringTest{
3. privateMemCachedClientcachedClient;
5. @Before
6. publicvoidinit(){
7. ApplicationContextcontext=newClassPathXmlApplicationContext("com/luo/config/beans.xml");
8. cachedClient=(MemCachedClient)context.getBean("memcachedClient");
9. }
11. @Test
12. publicvoidtestMemcachedSpring(){
13. UserBeanuser=newUserBean("luo","hi");
14. cachedClient.set("user",user);
15. UserBeancachedBean=(UserBean)user;
16. Assert.assertEquals(user,cachedBean);
17. }
18. }

七、注意点

第一、memcached是在服务器端的内存中缓存对象的，不是缓存或硬盘；

第二、memcached的pool可以关联多个server，

String[] servers = {"10.20.185.12:11001","10.20.185.25:11001"};
Integer[] weights = {3,7};

该配置表示30%的缓存在放在第一台服务器，70%的将放在第二台服务器，这样便可以充分利用不同服务器的内存了；

第三、我最困惑的是client是如何得到相应的pool的，后然看了点源码才知道是这样的。client是通过pool的name关联到某个pool的，上面的例子中在SockIOPoolpool=SockIOPool.getInstance(); 和MemCachedClientclient=newMemCachedClient();虽然都没写poolName，但就是新建了一个”default“的pool，然后client关联到了这个”default“的pool。当然我们在新建这两个对象时可以给定具体的poolName。

下一篇：memcached真实项目中的应用http://blog.csdn.net/sup_heaven/article/details/32728477

参考文章：

http://snowolf.iteye.com/blog/1471805

http://my249645546.iteye.com/blog/1420061

http://blog.csdn.NET/loujinhe/article/details/8491673?reload

http://hzp.iteye.com/blog/1872664