Memcached

Memcached介绍

1. Memcached与常见同类软件对比

（1）Memcached

    Memcached是一个开源的，支持高性能，高并发的分布式内存缓存系统，由C语言编写，总共2000多行代码。从软件名称上看，前3个字符“Mem”就是内存的意思，而接下来的后面5个字符“cache”就是缓存的意思，最后一个字符d，是daemon的意思，代表是服务器端守护进程模式服务。
    Memcached服务分为服务器端和客户端两部分，其中，服务器端软件的名字形如Memcached-1.4.24.tar.gz，客户端软件的名字形如Memcache-2.25.tar.gz
    Memcached软件诞生于2003年，最初由LiveJournal的Brad Fitzpatrick开发完成。Memcache是整个项目的名称，而Memcached是服务器端的主程序名，因其协议简单，应用部署方便，且支持高并发，因此被互联网企业广泛使用，直到现在仍然如此。其官方网站地址：http://memcached.org/.

Memcached默认用于缓解数据库读压力
（2）Memcached的作用

    传统场景中，多数Web应用都将数据保存到关系型数据库中（例如：MySQL），Web服务器从中读取数据并在浏览器中显示。但随着数据量的增大，访问的集中，关系型数据库的负担就会出现加重，响应缓慢，导致网站打开延迟等问题，影响用户体验。
    这时就需要Memcached软件出马了。使用Memcached的主要目的是，通过在自身内存中缓存关系型数据库的查询结果，减少数据库被访问的次数，以提高动态Web应用的速度，提高网站架构的并发能力和可扩展性。
    Memcached服务的运行原理是通过在事先规划好的系统内存空间中临时缓存数据库中的各类数据，以达到减少前端业务服务对数据库的直接高并发访问，从而提升大规模网站集群中动态服务的并发访问能力。
    -生产场景的Memcached服务一般被用来保存网站中经常被读取的对象或数据，就像我们的客户端浏览器也会把经常访问的网页缓存起来一样，通过内存缓存来存取对象或数据要比磁盘存取快很多，因为磁盘是机械的，因此，在当今的IT企业中，Memcached的应用范围很广泛。

2. 互联网常见内存缓存服务软件
   

Memcached的用途与应用场景

1. Memcached常见用途工作流程

   Memcached是一种内存缓存软件，在工作中经常用来缓存数据库的查询数据，数据被缓存在事先与分配的Memcached管理的内存中，可以通过API或命令的方式存取内存中缓存的这些数据，Memcached服务内存中缓存的数据就像一张巨大的hash表，每条数据都是以key-value对的形式存在。

(1) 网站读取Memcached数据时工作流程

从逻辑上来说，当程序访问后端数据库获取数据时会优先访问Memcached缓存，如果缓存中有数据就直接返回给客户端用户，如果没有合适的数据（没有命中），再去后端的数据库读取数据，读取到需要的数据后，就会把数据返回给客户端，同时还会把读取到的数据缓存到Memcached内存中，这样客户端用户再次请求相同的数据时就会直接读取Memcached缓存的数据了，这就大大地减轻了后端数据库的压力，并提高了整个网站的响应速度，提升了用户体验。

展示了Memcached缓存系统和后端数据库系统的协作流程
如上图所示：使用Memcached缓存查询的数据来减少数据库压力的具体工作流程如下：

• Web程序首先检查客户端请求的数据是否在Memcached缓存中存在，如果存在，直接把请求的数据返回给客户端，此时不再请求后端数据库。

• 如果请求的数据在Memcached缓存中不存在，则程序会去请求数据库服务，把从数据库中取到的数据返回给客户端，同时把新取到的数据缓存一份到Memcached缓存中。
  （2） 网站更新Memcached数据时的工作流程

具体流程如下：

• 当程序更新或删除数据时，会首先处理后端数据库中的数据。

• 在处理后端数据库中数据的同时，也会通知Memcached，告诉它对应的旧数据失效，从而保证Memcached中缓存的数据始终和数据库中一致，这个数据一致性非常重要，也是大型网站分布式缓存集群最头疼的问题所在。

• 如果是在高并发读写场合，除了要程序通知Memcached过期的缓存失效外，还可能要通过相关机制，例如在数据库上部署相关程序（如在数据库中设置触发器使用UDFs），实现当数据库有更新时就把数据更新到Memcached服务中，这样一来，客户端在访问新数据时，因预先把更新过的数据库数据复制到Memcached中缓存起来了，所以可以减少第一次查询数据库带来的访问压力，提升Memcached中缓存的命中率，甚至新浪门户还会把持久化存储Redis做成MySQL数据库的从库，实现真正的主从复制。

下图为Memcached网站作为缓存应用更新数据的流程
下图为Memcached服务作为缓存应用通过相关软件更新数据的流程
Memcached没有高可用，若出现多台宕机，需一台一台缓慢开机（预热），不能一次全部开机。

在生产工作中，网站Web服务器作为缓存应用更新数据的方案更为常用，即由网站程序负责更新Memcached缓存。

2. Memcached在企业中的应用场景
   （1） 作为数据库的查询数据缓存

• 完整数据缓存（先缓存技术）

  例如：电商的商品分类功能不是经常变动的，因此可以事先放到Memcached里，然后再对外提供数据访问。这个过程被称之为“数据预热”。
  此时只需读取缓存，无需读取数据库就能得到Memcached缓存里的所有商品分类数据了，所以数据库的访问压力就会大大降低。
  为什么商品分类数据可以事先放在缓存里呢？
  因为，商品分类几乎都是由内部人员管理的，如果需要更新数据，更新数据库后，就可以把数据同时更新到Memcached里。
  如果把商品分类数据做成静态化文件，然后，通过在前端Web缓存或者使用CDN加速效果更好。
  一旦出现宕机，先缓存技术会导致数据库瘫痪，memcached不能做高可用，一旦宕机只能开机处理，但会出现数据库瘫痪现象，需要预热处理；多台memcached需要一台一台缓慢开机，有一定的间隔时间，决不能马上开机。

• 热点数据缓存（后缓存技术）

热点数据缓存一般是用于由用户更新的商品，例如淘宝的卖家，在卖家新增商品后，网站程序就会把商品写入后端数据库，同时把这部分数据，放入Memcached内存中，下一次访问这个商品的请求就直接从Memcached内存中取走了。这种方法用来缓存网站热点的数据，即利用Memcached缓存经常被访问的数据。

提示：
这个过程可以通过程序实现，也可以在数据库上安装相关软件进行设置，直接由数据库把内容更新到Memcached中，就相当于Memcached是MySQL的从库一样。

如果碰到电商双11，秒杀高并发的业务场景，必须要事先预热各种缓存，包括前端的Web缓存和后端的数据库缓存。
也就是先把数据放入内存预热，然后逐步动态更新。此时，会先读取缓存，如果缓存里没有对应的数据，再去读取数据库，然后把读到的数据放入缓存。如果数据库里的数据更新，需要同时触发缓存更新，防止给用户过期的数据，当然对于百万级别并发还有很多其他的工作要做。
绝大多数的网站动态数据都是保存在数据库当中的，每次频繁地存取数据库，会导致数据库性能急剧下降，无法同时服务更多的用过户（比如MySQL特别频繁的锁表就存在此问题），那么，就可以让Memcached来分担数据库的压力。增加Memcached服务的好处除了可以分担数据库的压力以外，还包括无须改动整个网站架构，只须简单地修改下程序逻辑，让程序先读取Memcached缓存查询数据即可，当然别忘了，更新数据时也要更新Memcached缓存。

（2） 作为集群节点的session会话共享存储

即把客户端用户请求多个前端应用服务集群产生的session会话信息，统一存储到一个Memcached缓存中。由于session会话数据是存储在内存中的，所以速度很快。

下图为Memcached服务在企业集群架构中的常见工作位置：

Memcached的特点与工作机制

1. Memcached的特点

Memcached作为高并发，高性能的缓存服务，具有如下特点：

协议简单。Memcached的协议实现很简单，采用的是基于文本行的协议，能通过telnet/nc等命令直接操作memcached服务存储数据。
支持epoll/kqueue异步I/O模型，使用libevent作为事件处理通知机制。
简单的说，libevent是一套利用c开发的程序库，它将BSD系统的kqueue，Linux系统的epoll等事件处理功能封装成一个接口，确保即使服务器端的连接数增加也能发挥很好的性能。Memcached就是利用这个libevent库进行异步事件处理的。
采用key/value键值数据类型。被缓存的数据以key/value键值形式存在，例如：

benet-->36,key=benet,value=36
yunjisuan-->28,key=yunjisuan,value=28
#通过benet key可以获取到36值，同理通过yunjisuan key可以获取28值

全内存缓存，效率高。Memcached管理内存的方式非常高效，即全部的数据都存放于Memcached服务事先分配好的内存中，无持久化存储的设计，和系统的物理内存一样，当重启系统或Memcached服务时，Memcached内存中的数据就会丢失。
如果希望重启后，数据依然能保留，那么就可以采用redis这样的持久性内存缓存系统。
当内存中缓存的数据容量达到服务启动时设定的内存值时，就会自动使用LRU算法（最近最少被使用的）删除过期的缓存数据。也可以在存放数据时对存储的数据设置过期时间，这样过期后数据就自动被清除，Memcached服务本身不会监控数据过期，而是在访问的时候查看key的时间戳判断是否过期。
可支持分布式集群
Memcached没有像MySQL那样的主从复制方式，分布式Memcached集群的不同服务器之间是互不通信的，每一个节点都独立存取数据，并且数据内容也不一样。通过对Web应用端的程序设计或者通过支持hash算法的负载均衡软件，可以让Memcached支持大规模海量分布式缓存集群应用。

下面是利用Web端程序实现Memcached分布式的简单代码：

"memcached_servers" ==>array(
'10.4.4.4:11211',
'10.4.4.5:11211',
'10.4.4.6:11211',

下面使用Tengine反向代理负载均衡的一致性哈希算法实现分布式Memcached的配置。

http {

upstream test {

consistent_hash $request_uri;

server 127.0.0.1:11211 id=1001 weight=3;

server 127.0.0.1:11212 id=1002 weight=10;

server 127.0.0.1:11213 id=1003 weight=20;

}
}

提示：
Tengine是淘宝网开源的Nginx的分支，上述代码来自：
http://tengine.taobao.org/document_cn/http_upstream_consistent_hash_cn.html

2. Memcached工作原理与机制
   （1） Memcached工作原理

   Memcached是一套类似C/S模式架构的软件，在服务器端启动Memcached服务守护进程，可以指定监听本地的IP地址，端口号，并发访问连接数，以及分配了多少内存来处理客户端请求。

（2） Socket事件处理机制
Memcached软件是由C语言来实现的，全部代码仅有2000多行，采用的是异步epoll/kqueue非阻塞I/O网络模型，其实现方式是基于异步的libevent事件单进程，单线程模式。使用libevent作为事件通知机制，应用程序端通过指定服务器的IP地址及端口，就可以连接Memcached服务进行通信。

（3）数据存储机制
需要被缓存的数据以key/value键值对的形式保存在服务器端预分配的内存区中，每个被缓存的数据都有唯一的标识key，操作Memcached中的数据就是通过这个唯一标识的key进行的。缓存到Memcached中的数据仅放置在Memcached服务预分配的内存中，而非存储在Memcached服务器所在的磁盘上，因此存取速度非常快。
由于Memcached服务自身没有对缓存的数据进行持久化存储的涉及，因此，在服务器端的Memcached服务进程重启之后，存储在内存中的这些数据就会丢失。且当内存中缓存的数据容量达到启动时设定的内存值时，也会自动使用LRU算法删除过期的数据。
开发Memcached的初衷仅是通过内存缓存提升访问效率，并没有过多考虑数据的永久存储问题。因此，如果使用Memcached作为缓存数据服务，要考虑数据丢失后带来的问题，例如：是否可以重新生成数据，还有，在高并发场合下缓存宕机或重启会不会导致大量请求直接到数据库，导致数据库无法承受，最终导致网站架构雪崩等。

（4） 内存管理机制

Memcached采用了如下机制：

采用slab内存分配机制
采用LRU对象清除机制
采用hash机制快速检索item

（5） 多线程处理机制

多线程处理时采用的是pthread（POSIX）线程模式。

若要激活多线程，可在编译时指定：./configure --enable-threads

锁机制不够完善

负载过重时，可以开启多线程（-t 线程数为CPU核数）

3. Memcached预热理念及集群节点的正确重启方法
   （1） Memcached预热理念

    当需要大面积重启Memcached时，首先要在前端控制网站入口的访问流量，然后，重启Memcached集群并进行数据预热，所有数据都预热完毕之后，再逐步放开前端网站入口的流量。
    为了满足Memcached服务数据可以持久化存储的需求，在较早时期，新浪网基于Memcached服务开发了一款NoSQL软件，名字为MemcacheDB，实现了在缓存的基础上增加了持久存储的特性，不过目前逐步被更优秀的Redis软件取代了。