memcache缓存服务器

一，MemCache 简介

memcache 是一个自由、开源、高性能、分布式的内存对象缓存系统，用于 动态web应用以减轻数据库的负载。它通过在内存中缓存数据和对象来减少读取数据库的次数从而提高了网站的访问速度。
memcache是一个存储键值对的hashmap，对内存中任意的数据（比如字符串，对象等）所使用key-value存储，数据可以来自数据库调用、api调用，或者页面渲染的结果。memcache实际理念就是小而强大，它简单的设计促进了快速部署、易于开发并解决面对大规模数据缓存的许多难题，而所开放的api使得memcache能用于java、C/C++/C#、Perl、Python、PHP、Ruby等大部分流行的程序语言。
memcache访问模型↓

注：memcache虽然被称为“分布式缓存”，但是memcache本身完全不具备分布式功能，memcache集群之间不会相互通信（与之形成对比的，比如jboss cache某台服务器有缓存数据更新时，会通知集群中其他机器更新缓存或清除缓存数据）memcache所谓的“分布式”完全依赖于客户的程序的实现，就像上面这张流程图一样。
基于上图梳理memcache一次写缓存的流程：
①应用程序输入需要写缓存的数据
.
②api将key输入路由算法模块，路由算法根据key和memcache集群服务器列表得到一台服务器编号
.
③由服务器编号得到memcache及其的ip地址和端口号
.
④api调用通信模块和指定编号的服务器通信，将数据写入该服务器，完成一次分布式缓存的写操作
读缓存和写缓存一样，只要使用相同的路由算法和服务器列表，只要应用程序查询的是相同的key，memcache客户端总是访问相同的客户端去读取数据，只要服务器中还缓存着该数据，就能保证命中。
.
.
这种memcache集群的方式也是从分区容错性的方面考虑的，假如node2宕机了，那么node2上存储的数据都不可用了，此时由于及群中node0和node1还存在，下一次请求node2中存储的key值的时候，肯定是没命中的，这时先从数据库中拿到要缓存的数据，然后路由算法模块根据key值在node0和node1中选取一个节点，把对应的数据放进去，这样下一次又可以走缓存偶尔，这种集群的做法很好，但缺点是成本比较大。

二，路由算法

从上图中可以看出一个很重要的问题，就是对服务器集群的管理，路由算法至关重要，就和负载均衡算法一样，路由算法决定着究竟该访问集群中的哪台服务器。
1）余数hash
简单的路由算法可以使用余数hash：用服务器数目和缓存数据key的hash值相除，余数为服务器列表下标编号，加入某个str对应的hashcode是52买服务器数目是3，余数得到1，str对应节点node1，所以路由算法吧str路由到node1服务器上。由于hashcode随机性比较强，所以使用余数hash路由算法可以保证缓存数据在整个memcache服务器集群中有较为平均的分布。
.
.
2）一致性hash算法
一致性hash算法通过一个叫做一致性hash环的数据结构实现key到缓存服务器的hash映射。简单地说，一致性哈希将整个哈希值空间组织成一个虚拟的圆环（这个环被称为一致性hash环），如假设某空间哈希函数H的值空间是0~2^32-1（即哈希值是一个32位无符号整形），整个哈希空间如下：

下一步将各个服务器使用H进行一个哈希计算，具体可以使用服务器的ip地址或者主机名作为关键字，这样每台机器都能确定其在哈希环上的位置了，并且是安装顺时针排列，这里假设三台节点memcache经计算后位置如下：

接下来使用相同的算法计算出数据的哈希值h，并经由此确定数据在此哈希环上的位置 假如我们有数据 A\B\C\D 这4个对象，经过哈希计算后位置如下：

根据一致性哈希算法，数据A就被绑定到了server01上，D被绑定到了server02上。B\C 在server03上，是按照顺时针找最近服务节点方法，这样得到的哈希环调度方法 有很高得容错性和可扩展性
假设server03宕机：

可以看到此时 B\C 会受到影响，将B\C节点被重定位到server01.一般在一致性哈希算法中，如果一台服务器不可用，则受影响的数据仅仅是此服务器到其环空间中前一台服务器（即顺时针方向行走遇到的第一台服务器）之间数据，其他不会受到影响。
考虑另外一种情况如果我们在系统中增加一台服务器memcached server04

此时 A\C\D 不受影响，只有 B 需要重定位到新的server04。一般在一致性哈希算法中，如果增加一台服务器，则受影响的数据仅仅是新服务器到其环空间中前一台服务器（即顺着逆时针方向行走遇到的第一台服务器）之间数据，其他不会受影响。
综上所述，一致性哈希算法对于节点的增减都只需要重定位环空间中的一小部分数据，具有较好的容错性和可扩展性。
一致性哈希的缺点：在服务节点太少时，容易因为节点分布不均匀而造成数据倾斜的问题。我们可以采用增加虚拟节点的方式解决。
更重要的是集群中缓存服务器的节点越多，增加\减少节点带来的影响越小，换句话说就是 随着集群规模的增大，继续命中原有缓存数据的概率会越来越大，虽然仍然有小部分缓存在服务器中不能被读到，但这个比例足够小，即使访问数据库也不会对数据库造成致命的负载压力。

三， MemCache实现原理

首先，memcache的数据存放在内存中
1.访问数据的速度比传统的关系型数据库要快，因为Oracle，MySQL这些传统的关系型数据库为了保持数据的持久性，数据放在硬盘中，IO操作速度慢
.
2.memcache的数据存放在内存中就意味着只要memcache重启了，数据就会消失
.
3.既然memcache的数据放在内存中，那么势必受到机器位数的限制，32位机器最多能使用2GB空间，64位机器可以认为没有上限
.
然后是memcache的原理，memcache最重要的是内存如何分配，memcache采用的内存分配方式是固定空间分配，如下图所示：

这张图里涉及了slab_class、slab、page、chunk四个概念，他们之间的关系：
1.memcache将内存空间分为一组slab
.
2.每个slab下又有若干个page，每个page默认是1M，如果一个slab占用100M内存的话，那么这个slab下应该有100个page
.
3.每个page里面包含一组chunk，chunk是真正存放数据的地方，同一个slab里面的chunk的大小是固定的
.
4.有相同大小chunk的slab被组织在一起，称为slab_class
.
memcache内存分配的方式称为allocator（分配运算），slab的数量是有限的，几个，十几个或者几十个，这个和启动参数的配置相关
memcache中的value存放的地方是由value的大小决定的，value总是会被存放到与chunk大小最接近的一个slab中， 比如slab【1】的chunk大小为80字节，slab【2】的chunk大小为100字节，slab【3】的chunk大小为128字节（相邻slab内的chunk基本以1.25为比例增长，memcache启动时可以用-f指定这个比例），那么过来一个88字节的value，这个value将被放到2号slab中。放slab的时候，首先slab要申请内存，申请内存是以page为单位的，所以在放入第一个数据的时候，无论大小为多少，都会有1M大小的page被分配给该slab。申请到page后，slab会将这个page的内存按chunk的大小进行切分，这样就变成了一个chunk数组，最后从这个chunk数组中选择一个用于存储数据。

四，MemCache工作流程

1.检查客户端的请求数据是否在memcached中，如果有，直接把请求数据返回，不在对数据库进行任何操作，路径操作为①②③⑦
.
2.如果请求不在memcached中，就去查数据库，把从数据库中获取的数据返回给客户端，同时把数据缓存一份到memcached中（memcached客户端不负责，需要程序明确实现），路径操作为①②④⑤⑦⑥
.
3.每次更新数据库的同时更新memcached中的数据，保证一致性
.
4.当分配给memcached内存空间用完之后，会使用LRU（least recently used 最近最少使用）策略加上到期失效策略，失效数据首先被替换，然后再替换掉最近未使用的数据。

五，MemCached特征

1.协议简单：
它是基于文本行的协议，直接通过Telnet在memcached服务器上可进行存取数据操作
注：文本行协议：指的是信息以文本传送，一个信息单元传递完毕后要传送换行。比如对于HTTP的GET请求来说，GET/index.html HTTP/1.1是一行，接下去的每个头部信息各占一行。一个空行表示整个请求结束
.
2.基于libevent事件处理：
libevent是一套利用C开发的程序库，它将BSD系统的kqueue，linux系统的epoll等事件处理功能封装成一个接口，与传统的select相比，提高了性能
.
3.内置的内存管理方式：
所有数据都保存在内存中，存取数据比硬盘快，当内存满后，通过LRU算法自动删除不使用的缓存，但没有考虑数据的容灾问题，重启服务，所有数据都会丢失
.
4.分布式
各个memcached服务器之间互不通信，各自独立存取数据，不共享任何信息。服务器并不具有分布式功能，分布式部署取决于memcache客户端
.
5.memcache的安装分为两个过程：
memcache服务端安装和memcached客户端的安装所谓服务端的安装就是在服务器（一般为linux系统）上安装memcache实现数据的存储
所谓客户端的安装就是指php（或者其他程序，memcache还有其他不错的api接口提供）去使用服务端的memcache提供的函数，需要php添加扩展