Memcached使用经验介绍

         Memcached是一个高性能的分布式的内存对象缓存系统，通过在内存里维护一个统一的巨大的hash表，它能够用来存储各种格式的数据，包括图像、视频、文件以及数据库检索的结果等。最初为了加速 LiveJournal 访问速度而开发的,后来被很多大型的网站采用。起初作者编写它可能是为了提高动态网页应用，为了减轻数据库检索的压力，来做的这个缓存系统。它的缓存是一种分布式的，也就是可以允许不同主机上的多个用户同时访问这个缓存系统， 这种方法不仅解决了共享内存只能是单机的弊端， 同时也解决了数据库检索的压力，最大的优点是提高了访问获取数据的速度！基于memcached作者对分布式cache的理解和解决方案。memcached完全可以用到其他地方 比如分布式数据库， 分布式计算等领域。

memcached安装

所需软件 安装软件：memcached服务器（memcached-1.4.5.tar.gz） 下载地址：http://code.google.com/p/memcached/downloads/list?can=1&q=&colspec=Filename+Summary+Uploaded+ReleaseDate+Size+DownloadCount 安装软件：memcached服务器libevent（libevent-1.4.10-stable.tar.gz） 下载地址：http://libevent.org/old-releases.html#1.4 安装软件：memcached 复制软件（memcached-1.2.8-repcached-2.2.1.tar.gz） 下载地址：http://sourceforge.net/projects/repcached/files/ （http://repcached.lab.klab.org/） 注：下载软件全部复制到/usr/local/下 安装libevent /usr/local/# tar zxvf libevent-1.4.10-stable.tar.gz # cd libevent-1.4.10-stable # ./configure  --prefix=/usr/local/libevent1.4.10 # make # make install # cp /usr/local/libevent1.4.10/lib/libevent-1.4.so.2 /usr/lib/ 安装memcached /usr/local/# tar zxvf memcached-1.4.5.tar.gz # cd memcached-1.4.5 # ./configure # make # make install # useradd memcached -s /nologin 启动memcached  /usr/local/memcached-1.4.5/# memcached -m 512 -u memcached -d -l IP地址 参数说明： -d选项是启动一个守护进程； -m是Memcache的最大内存使用数量，单位是MB，默认是64MB； -u是运行Memcache的用户； -l是监听的服务器IP地址； -p是设置Memcache监听的端口，默认是11211 ； -c选项是最大运行的并发连接数，默认是1024；               如果需要设置其他参数，可以用参数-h查看帮助。 关闭memcached #ps –ef|grep memcached  //查看进程id #kill -9 进程id  // 查看memcached状态 # telnet localhost 11211 //11211为memcached端口号 #stats STAT pid 3208 STAT uptime 273929 STAT time 1236580409 STAT version 1.2.6 STAT pointer_size 32 STAT rusage_user 0.004000 STAT rusage_system 0.044002 STAT curr_items 34 STAT total_items 97 STAT bytes 4982 STAT curr_connections 3 STAT total_connections 129 STAT connection_structures 8 STAT cmd_get 92      #查询缓存数据的次数 STAT cmd_set 97      #同步到缓存的数据次数 STAT get_hits 72      #缓存命中率的次数 STAT get_misses 20   #丢失命中的次数 STAT evictions 0 STAT bytes_read 13915 STAT bytes_written 9070 STAT limit_maxbytes 536870912 STAT threads 1 END quit //退出telnet   若上述命令能正常执行，说明memcached安装成功。

安装 memcached 复制软件

/usr/local/#tar zxvf memcached-1.2.8-repcached-2.2.1.tar.gz #cd memcached-1.2.8-repcached-2.2.1 #./configure --prefix=/usr/local/memcached-1.4.5 --enable-replication --with-libevent=/usr/local/libevent1.4.10--enable-64bit # make # make install 启动memcached（复制方式） 原理：以memcached主从复制方式部署，master/slave都是可读写的，而且可以相互同步，如果master坏了，slave侦测到连接断了，自动监听成为master；如果slave坏了，master会侦测到连接断了，会重新监听等待新的slave加入。 范例如下： 启动master #/usr/local/memcached-1.4.5/memcached -m 512 -u memcached -d -l 10.12.23.37 –p 11211 启动slave #/usr/local/memcached-1.4.5/memcached -m 512 -u memcached -d -l 10.12.23.42 –p 11211 –x 10.12.23.37 –p 11211

安装daemontools

对于memcached进程死掉的服务器，只要重新启动memcached，就可以正常运行，所以采用了监视memcached进程并自动启动的方法（推荐使用daemontools）。可参考http://blog.csdn.net/yangshiqi1089/article/details/6002272

安装软件：daemontools 下载地址：http://cr.yp.to/daemontools/daemontools-0.76.tar.gz   /#mkdir -p /package 复制daemontools-0.76.tar.gz到/package /package#tar -zxf daemontools-0.76.tar.gz #cd admin/daemontools-0.76 #package/install 若出现错误如“make: *** [envdir]错误 1Copying commands into ./command...cp:无法 stat “compile/envdir”:没有那个文件或目录“ 则执行如下修改： / admin/daemontools-0.76/src#vi conf-cc 修改为gcc -include /usr/include/errno.h… 编辑run.sh文件如下： #!/bin/sh exec 2>&1 exec /usr/local/memcached-1.4.5/memcached -m 512 -u memcached -d -l 10.12.23.37 -p 11211   将run.sh加入监控服务，这样在memcached进程被杀掉时，会自动启动memcached。

升级安装方案

方案1：Memcached软件版本升级。

主要是升级安装Memcached，具体如下：

准备所需安装软件 软件名称：memcached服务器（memcached-1.4.13.tar.gz） 下载地址：http://code.google.com/p/memcached/downloads/list?can=1&q=&colspec=Filename+Summary+Uploaded+ReleaseDate+Size+DownloadCount 软件名称：memcached服务器libevent（libevent-1.4.10-stable.tar.gz） 下载地址：http://libevent.org/old-releases.html#1.4 注：下载软件全部复制到/usr/local/下 安装libevent      /usr/local/# tar zxvf libevent-1.4.10-stable.tar.gz # cd libevent-1.4.10-stable # ./configure  --prefix=/usr/local/libevent1.4.10 # make # make install # cp /usr/local/libevent1.4.10/lib/libevent-1.4.so.2 /usr/lib/ 安装memcached      /usr/local/# tar zxvf memcached-1.4.13.tar.gz      # cd memcached-1.4.13      # ./configure # make # make install      # useradd memcached -s /nologin 启动memcached          /usr/local/memcached-1.4.13/# memcached -m 512 -u memcached -d -l IP地址 参数说明： -d选项是启动一个守护进程； -m是Memcache的最大内存使用数量，单位是MB，默认是64MB； -u是运行Memcache的用户； -l是监听的服务器IP地址； -p是设置Memcache监听的端口，默认是11211 ； -c选项是最大运行的并发连接数，默认是1024；        如果需要设置其他参数，可以用参数-h查看帮助。 关闭memcached #ps –ef|grep memcached  //查看进程id #kill -9 进程id  // 查看memcached状态 # telnet localhost 11211 //11211为memcached端口号 #stats STAT pid 3208 STAT uptime 273929 STAT time 1236580409 STAT version 1.2.6 STAT pointer_size 32 STAT rusage_user 0.004000 STAT rusage_system 0.044002 STAT curr_items 34 STAT total_items 97 STAT bytes 4982 STAT curr_connections 3 STAT total_connections 129 STAT connection_structures 8 STAT cmd_get 92      #查询缓存数据的次数 STAT cmd_set 97      #同步到缓存的数据次数 STAT get_hits 72      #缓存命中率的次数 STAT get_misses 20   #丢失命中的次数 STAT evictions 0 STAT bytes_read 13915 STAT bytes_written 9070 STAT limit_maxbytes 536870912 STAT threads 1 END quit   //退出telnet   若上述命令能正常执行，说明memcached安装成功。

 

方案2： memcached 复制软件升级

此方案是基于方案1已经实施完成为前提，继续如下步骤：

准备所需安装软件 软件名称：memcached 复制软件（repcached-2.3.1-1.4.13.patch.gz） 下载地址：http://meatwad.mouf.net/~steve/memcached/ 注：下载软件全部复制到/usr/local/下   安装 memcached 复制软件 /usr/local/memcached-1.4.13#gzip -cd ../repcached-2.3.1-1.4.13.patch.gz | patch -p1 （注意这一步要在已有的memcached根目录下进行，repcached-2.3.1-1.4.13.patch.gz的位置在memcached根目录的上一层） #./configure --enable-replication --with-libevent=/usr/local/libevent1.4.10 (--enable-64bit) # make # make install   启动memcached（复制方式） 原理：以memcached主从复制方式部署，master/slave都是可读写的，而且可以相互同步，如果master坏了，slave侦测到连接断了，自动监听成为master；如果slave坏了，master会侦测到连接断了，会重新监听等待新的slave加入。这样可以实现cache冗余，避免因cache服务器down掉而导致数据丢失。  范例如下： 启动master #/usr/local/memcached-1.4.13/memcached -m 512 -u memcached –d -v -l 10.12.23.37 -p 11211 [-X 11212] replication: listen  (master监听)     注：[-X 11212] 这个是可选的，缺省复制监听端口为11212。如果想在一台服务器上启动多个master，[ -X 11212]是必须要加上的 启动slave #/usr/local/memcached-1.4.13/memcached -m 512 -u memcached -d -l 10.12.23.42 -p 11211 -x 10.12.23.37 -X 11212 -v replication: connect (peer=10.12.23.37:11212) replication: marugoto copying replication: listen 测试验证 操作master  #telnet 10.12.23.37 11211  #set key1 0 0 3  111  查看slave  #telnet 10.12.23.42 11211  #get key1  如果正常显示111，则表示repcached配置成功

 

memcached客户端参数配置

#memcached server add,multi servers use , split. servers=202.10.77.236:13000,202.10.77.245:13000 #memcached servers' weights #weights=1 #initialConnections=5 #minSpareConnections=5 #maxSpareConnections=250 #maxIdleTime=1000*60*30      #maintThreadSleep=1000*30 #read timeout,3s #socketTimeOut=1000*3 #no timeout reconnection. #socketConnectTO=0 #HashingAlg ATIVE_HASH= 0,OLD_COMPAT_HASH =1,NEW_COMPAT_HASH = 2,CONSISTENT_HASH = 3 hashingAlg=2 #close tcp Nagle nagleAlg=false

说明：

hashingAlg包括几个常量的含义如下(参考http://bachmozart.iteye.com/blog/211836)：

 NATIVE_HASH     = 0   // native String.hashCode()

OLD_COMPAT_HASH = 1  // original compatibility hashing algorithm (works with other clients)

NEW_COMPAT_HASH = 2  // new CRC32 based compatibility hashing algorithm (works with other clients)     

CONSISTENT_HASH = 3   // MD5 Based -- Stops thrashing when a server added or removed

 

Memcached相关命令

启动memcached

#/usr/local/bin/memcached -d -m 512 -u root -p 11211

Memcached 启动参数：

-d选项是启动一个守护进程；
-m是Memcache的最大内存使用数量，单位是MB，默认是64MB；
-u是运行Memcache的用户；
-l是监听的服务器IP地址；
-p是设置Memcache监听的端口，默认是11211 ；
-c选项是最大运行的并发连接数，默认是1024；

 (如果需要设置其他参数，可以用参数-h查看帮助。)

-M return error on memory exhausted (rather than removing items) 
-k lock down all paged memory 
-v verbose (print errors/warnings while in event loop) 
-vv very verbose (also print client commands/reponses) 
-h print this help and exit 
-i print memcached and libevent license 
 

关闭memcached

方法1：#ps –ef|grep memcached //查看进程id

 #kill -9 XXXXX   //直接关闭进程

方法2：#killall memcached

 

登录查看memcached状态

# telnet localhost 11211

stats

STAT pid 3208

STAT uptime 273929

STAT time 1236580409

STAT version 1.2.6

STAT pointer_size 32

STAT rusage_user 0.004000

STAT rusage_system 0.044002

STAT curr_items 34

STAT total_items 97

STAT bytes 4982

STAT curr_connections 3

STAT total_connections 129

STAT connection_structures 8

STAT cmd_get 92      #查询缓存数据的次数

STAT cmd_set 97      #同步到缓存的数据次数

STAT get_hits 72      #缓存命中率的次数

STAT get_misses 20   #丢失命中的次数

STAT evictions 0

STAT bytes_read 13915

STAT bytes_written 9070

STAT limit_maxbytes 536870912

STAT threads 1

END

#quit #退出telnet

 

memcached记录日志

#memcached -d -m 512 -u root -p 11211 -vv >>logs/memcached.log  //注意参数-vv是2个v，不是w