MemCached简介

http://blog.sina.com.cn/u/1226786431

  今天公司内部邮件看到有人介绍了一个cache产品,专门用于大规模web程序,尤其是对大量数据库访问的操作程序,更为合适.最近(或者说一直)我们的bbs产品受困于数据不同步的问题相当严重了,一直没有合适的解决方法,或许这个东西能够满足我们的需求.虽然在目前的bbs中使用的可能性不是很大,但在group项目中可以考虑使用.毕竟, MemCached能够提供的性能大高了,而且具有很强的扩展性.
    MemCached是http://www.linuxjournal.com开发出来为了自己使用的,目前已经是一个开源的软件,可以自由使用.在其官方站点上看到了有关 MemCached的较为基本的介绍(http://www.linuxjournal.com/article/7451),包括了 MemCached的原理,工作特点,性能,实际使用的效果等多个方面的内容.文中说有一产品在使用 MemCached长达4-5个月时间,这期间 MemCached的服务器没有出现问题,能够支撑7k queries/second,并且能够保持较低的cpu利用率.如果真的能够达到这样的效果,那真的是大强了.
    MemCached原理:
    与许多cache工具类似,MecCached的原理并不复杂.它采用了C/S的模式,在server端启动服务进程,在启动时可以指定监听的ip,自己的端口号,所使用的内存大小等几个关键参数.一旦启动,服务就一直处于可用状态.article/7451 上说明MemCached的目前版本是通过C实现,采用了单进程,单线程,异步I/O,基于事件(event_based)的服务方式.{奇怪,为什么不用多线程呢?} 使用libevent作为事件通知实现.多个Server可以协同工作,但这些Server之间是没有任何通讯联系的,每个Server只是对自己的数据进行管理.
    Client端通过指定Server端的ip地址(通过域名应该也可以). 需要缓存的对象或数据是以key->value对的形式保存在Server端.key的值通过hash进行转换,根据hash值把value传递到对应的具体的某个Server上.当需要获取对象数据时,也根库key进行.首先对key进行hash,通过获得的值可以确定它被保存在了哪台Server上,然后再向该Server发
出请求.Client端只是需要保存hash(key)的值在哪台服务器上.

速度和性能
   MemCached对所有的key都采用了hash的方式,宣称对于数据的查找是O(1)的.{但hash会有重复的hash值,必然会导致下一步的2次查找,不知道这一点怎么解决的.}但这种方式,如果hash算法能够做的够好,进行数据的定位是相当迅速的.
   性能方面,文中以LiveJournal.com为例进行说明:28个 MemCached服务实例,缓存了30G的数据,命中率为92%.相当的好,如此高的命中率可能和LiveJournal.com的访问特点有关.读远远大于写操作.
内存使用方式
   在MemCached服务端,MemCached实例使用slab allocator对内存是提前分好大的块(chunk),然后针对特定元素的类别对大块分成小块(称为slab class).以分出来的类的块对缓存数据和内存空间进行管理.slab class的大小从64 bytes到1M bytes之间,以2的次幂递增.依次方式保持长时间的高性能.(不懂,怎么保持的)
并发访问控制
   为了加快访问速度,MemCached没有使用锁.当有一个请求正在更新对象数据时,这时候如果有其它查询的请求,也不管.即使是读请求失败或获得一个无效的数据.(为什么不加上x锁呢?)
  ————————————————————————————————————————————

————————————————————————————————————————————

————————————————————————————————————————————

http://www.phpmore.com/?a=review_display&id=14

memcached官方说明

Memcached是什么?

Memcached是高性能的，分布式的内存对象缓存系统，用于在动态应用中减少数据库负载，提升访问速度。
Memcached由Danga Interactive开发，用于提升LiveJournal.com访问速度的。LJ每秒动态页面访问量几千次，用户700万。 Memcached将数据库负载大幅度降低，更好的分配资源，更快速访问。

如何使用memcached-Server端?

在服务端运行：
# ./ memcached -d -m 2048 -l 10.0.0.40 -p 11211
这将会启动一个占用2G内存的进程，并打开11211端口用于接收请求。由于32位系统只能处理4G内存的寻址，所以在大于4G内存使用PAE的32位服务器上可以运行2-3个进程，并在不同端口进行监听。

如何使用memcached-Client端?

在应用端包含一个用于描述Client的Class后，就可以直接使用，非常简单。
PHP Example:
$options["servers"] = array("192.168.1.41:11211", "192.168.1.42:11212");
$options["debug"] = false;
$memc = new MemCachedClient($options);
$myarr = array("one","two", 3);
$memc->set("key_one", $myarr);
$val = $memc->get("key_one");
print $val[0]."/n"; // prints 'one‘
print $val[1]."/n"; // prints 'two‘
print $val[2]."/n"; // prints 3

为什么不使用数据库做这些？

暂且不考虑使用什么样的数据库(MS-SQL, Oracle, Postgres, MysQL-InnoDB, etc..), 实现事务(ACID，Atomicity, Consistency, Isolation, and Durability )需要大量开销，特别当使用到硬盘的时候，这就意味着查询可能会阻塞。当使用不包含事务的数据库（例如Mysql-MyISAM），上面的开销不存在，但读线程又可能会被写线程阻塞。
Memcached从不阻塞，速度非常快。

为什么不使用共享内存?

最初的缓存做法是在线程内对对象进行缓存，但这样进程间就无法共享缓存，命中率非常低，导致缓存效率极低。后来出现了共享内存的缓存，多个进程或者线程共享同一块缓存，但毕竟还是只能局限在一台机器上，多台机器做相同的缓存同样是一种资源的浪费，而且命中率也比较低。
Memcached Server和Clients共同工作，实现跨服务器分布式的全局的缓存。并且可以与Web Server共同工作，Web Server对CPU要求高，对内存要求低， Memcached Server对CPU要求低，对内存要求高，所以可以搭配使用。

Mysql 4.x的缓存怎么样?

Mysql查询缓存不是很理想，因为以下几点：
当指定的表发生更新后，查询缓存会被清空。在一个大负载的系统上这样的事情发生的非常频繁，导致查询缓存效率非常低，有的情况下甚至还不如不开，因为它对cache的管理还是会有开销。
在32位机器上，Mysql对内存的操作还是被限制在4G以内，但 memcached可以分布开，内存规模理论上不受限制。
Mysql上的是查询缓存，而不是对象缓存，如果在查询后还需要大量其它操作，查询缓存就帮不上忙了。
如果要缓存的数据不大，并且查询的不是非常频繁，这样的情况下可以用Mysql 查询缓存，不然的话 memcached更好。

数据库同步怎么样？

这里的数据库同步是指的类似Mysql Master-Slave模式的靠日志同步实现数据库同步的机制。
你可以分布读操作，但无法分布写操作，但写操作的同步需要消耗大量的资源，而且这个开销是随着slave服务器的增长而不断增长的。
下一步是要对数据库进行水平切分，从而让不同的数据分布到不同的数据库服务器组上，从而实现分布的读写，这需要在应用中实现根据不同的数据连接不同的数据库。
当这一模式工作后（我们也推荐这样做），更多的数据库导致更多的让人头疼的硬件错误。
Memcached可以有效的降低对数据库的访问，让数据库用主要的精力来做不频繁的写操作，而这是数据库自己控制的，很少会自己阻塞 自己。

Memcached快吗？

非常快，它使用libevent，可以应付任意数量打开的连接（使用epoll，而非poll），使用非阻塞网络IO，分布式散列对象到不同的服务器，查询复杂度是O(1)。

参考资料：
Distributed Caching with Memcached | Linux Journal
http://www.danga.com/