Memcached缓存服务

一、简介

引用百度百科的说明：

memcached是一套分布式的快取系统，与redis相似,当初是Danga Interactive为了LiveJournal所发展的，但被许多软件（如MediaWiki）所使用。这是一套开放源代码软件，以BSD license授权协议发布。 [1]

memcached缺乏认证以及安全管制，这代表应该将memcached服务器放置在防火墙后。 [1]

memcached的API使用32位元的循环冗余校验（CRC-32）计算键值后，将资料分散在不同的机器上。当表格满了以后，接下来新增的资料会以LRU机制替换掉。由于memcached通常只是当作快取系统使用，所以使用memcached的应用程式在写回较慢的系统时（像是后端的数据库）需要额外的程式码更新memcached内的资料。

1.1 什么是memcached

memcached 是以LiveJournal 旗下Danga Interactive 公司的Brad Fitzpatric 为首开发的一款软件。已成为mixi、hatena、Facebook、Vox、LiveJournal等众多服务中提高Web应用扩展性的重要因素。许多Web应用都将数据保存到RDBMS中，应用服务器从中读取数据并在浏览器中显示。但随着数据量的增大、访问的集中，就会出现RDBMS的负担加重、数据库响应恶化、网站显示延迟等重大影响。

这时就该memcached大显身手了。memcached是高性能的分布式内存缓存服务器。一般的使用目的是，通过缓存数据库查询结果，减少数据库访问次数，以提高动态Web应用的速度、提高可扩展性。

Memcached 的守护进程（daemon ）是用C写的，但是客户端可以用任何语言来编写，并通过memcached协议与守护进程通信。但是它并不提供冗余（例如，复制其hashmap条目）；当某个服务器S停止运行或崩溃了，所有存放在S上的键/值对都将丢失。

Memcached由Danga Interactive开发，其最新版本发布于2010年，作者为Anatoly Vorobey和Brad Fitzpatrick。用于提升LiveJournal . com访问速度的。LJ每秒动态页面访问量几千次，用户700万。Memcached将数据库负载大幅度降低，更好的分配资源，更快速访问。

1.2 特点

• 协议简单

• 基于libevent的事件处理

• 内置内存存储方式

• memcached不互相通信的分布式

1.3 协议

memcached的服务器客户端通信并不使用复杂的XML等格式，而使用简单的基于文本行的协议。

因此，通过telnet也能在memcached上保存数据、取得数据。如：

$ telnet localhost 11211
Trying 127.0.0.1
Connected to localhost.localdomain (127.0.0.1).
Escape character is '^]'.
set name 0 100 8
disen
STORED 
get name
disen

• set name 0 100 8 命令，设置name对象，第一个0表示标志位,第二个100表示生命周期无限，第三个8表示所占字节数。

1.4 事件处理

libevent是个程序库，它将Linux的epoll、BSD类操作系统的kqueue等事件处理功能封装成统一的接口。即使对服务器的连接数增加，也能发挥O(1)的性能。memcached使用这个libevent库，因此能在Linux、BSD、Solaris等操作系统上发挥其高性能。关于事件处理这里就不再详细介绍，可以参考Dan Kegel的The C10K Problem。

1.5 存储方式

为了提高性能，memcached中保存的数据都存储在memcached内置的内存存储空间中。由于数据仅存在于内存中，因此重启memcached、重启操作系统会导致全部数据消失。另外，内容容量达到指定值之后，就基于LRU(Least Recently Used)算法自动删除不使用的缓存。memcached本身是为缓存而设计的服务器，因此并没有过多考虑数据的永久性问题。

1.6 通信分布式

memcached尽管是“分布式”缓存服务器，但服务器端并没有分布式功能。各个memcached不会互相通信以共享信息。那么，怎样进行分布式呢？这完全取决于客户端的实现。本文也将介绍memcached的分布式。

1.7 启动服务

 ./memcached -d -m 2048 -l 10.0.0.40 -p 11211

此命令将会启动一个占用2G内存的进程，并打开11211端口用于接收请求。由于32位系统只能处理4G内存的寻址，所以在大于4G内存使用PAE的32位服务器上可以运行2-3个进程，并在不同端口进行监听。

1.8 与redis区别

1.8.1 缓存的使用场景

1.8.2 redis说明

Redis 是完全开源免费的，遵守BSD协议，是一个高性能的key-value数据库。

Redis 与其他 key-value 缓存产品有以下三个特点
1、Redis支持数据的持久化，可以将内存中的数据保存在磁盘中，重启的时候可以再次加载进行使用。
2、Redis不仅仅支持简单的key-value类型的数据，同时还提供list，set，zset，hash等数据结构的存储。
3、Redis支持数据的备份，即master-slave模式的数据备份。

Redis 优势
1、性能极高 – Redis能读的速度是110000次/s,写的速度是81000次/s 。
2、丰富的数据类型 – Redis支持二进制案例的 Strings, Lists, Hashes, Sets 及 Ordered Sets 数据类型操作。
3、原子 – Redis的所有操作都是原子性的，意思就是要么成功执行要么失败完全不执行。单个操作是原子性的。多个操作也支持事务，即原子性，通过MULTI和EXEC指令包起来。
4、丰富的特性 – Redis还支持 publish/subscribe, 通知, key 过期等等特性。

Redis与其他key-value存储有什么不同？
Redis有着更为复杂的数据结构并且提供对他们的原子性操作，这是一个不同于其他数据库的进化路径。Redis的数据类型都是基于基本数据结构的同时对程序员透明，无需进行额外的抽象。
Redis运行在内存中但是可以持久化到磁盘，所以在对不同数据集进行高速读写时需要权衡内存，因为数据量不能大于硬件内存。在内存数据库方面的另一个优点是，相比在磁盘上相同的复杂的数据结构，在内存中操作起来非常简单，这样Redis可以做很多内部复杂性很强的事情。同时，在磁盘格式方面他们是紧凑的以追加的方式产生的，因为他们并不需要进行随机访问。

1.8.3 M与R的区别和选择

由于Redis只使用单核，而Memcached可以使用多核，所以在比较上，平均每一个核上Redis在存储小数据时比Memcached性能更高。而在100k以上的数据中，Memcached性能要高于Redis，虽然Redis最近也在存储大数据的性能上进行优化，但是比起Memcached，还是稍有逊色。说了这么多，结论是，无论你使用哪一个，每秒处理请求的次数都不会成为瓶颈。

你需要关注内存使用率。对于key-value这样简单的数据储存，Memcached的内存使用率更高。如果采用hash结构，Redis的内存使用率会更高。当然，这些都依赖于具体的应用场景。

你需要关注关注数据持久化和主从复制时，只有Redis拥有这两个特性。如果你的目标是构建一个缓存在升级或者重启后之前的数据不会丢失的话，那也只能选择Redis。

你应该关心你需要的操作。Redis支持很多复杂的操作，甚至只考虑内存的使用情况，在一个单一操作里你常常可以做很多，而不需要将数据读取到客户端中（这样会需要很多的IO操作）。这些复杂的操作基本上和纯GET和POST操作一样快，所以你不只是需要GET/SET而是更多的操作时，Redis会起很大的作用。

对于两者的选择还是要看具体的应用场景，如果需要缓存的数据只是key-value这样简单的结构时，我在项目里还是采用Memcached，它也足够的稳定可靠。如果涉及到存储，排序等一系列复杂的操作时，毫无疑问选择Redis。

二、Docker部署M服务

2.1 下载镜像

docker pull memcached

2.2 启动镜像

docker run -itd --name mcache1 -p 11211 memcached

2.3 测试连接

使用telnet命令连接，命令如下：

telnet localhost 11211

出现Connected to localhost即连接成功。

如果没有安装telnet命令，在Centos系统中，可以尝试基于yum安装yum install telnet

三、Python交互

3.1 pip安装

主要用到了python-memcached库，针对不同的版本详见pypi.org站点。

pip install python-memcached

3.2 导包

import memcache

3.3 连接

在memcache模块中，提供了Client类，用法如下：

mc = memcache.Client(['127.0.0.1:11211'], 
                     debug=True,socket_timeout=10)

参数说明：

• 第一个参数，可以连接多个server服务，所以使用list或tuple可迭代对象。

• socket_timeout设置网络连接超时时间，单位秒。

• debug=True开启debug模式。

3.4 set与get操作

memcache支持简单的set设置和get获取操作，不如redis的操作多样化。

3.4.1 set操作

set操作包含单值set和多值set_multi设置。

单值

mc.set(name, value, time=3*60)

time指定的是存活时间，可选项，默认为3小时。

多值

mc.set_multi({'key1':'value', 'key2':'value2'}, 
             time=0, key_prefix='u123')

多值批量存储，可以以dict字典的形式存储;

如果存储某一个对象的相关属性时，key_prefix可以指定对象的唯一标识。

time是所有value值的存活期。如果是0，表示永不过期。

3.4.2 get操作

相对于set的两种操作，get是获取key的value的。

# 获取单个key值
mc.get('key1')

# 获取多个key值
values = mc.get_multi(['key1', 'key2'], key_prefix='u123')

3.5 完整案例

import time

import memcache

client = memcache.Client(['10.36.179.42:11211','10.36.179.42:11212'], socket_timeout=10, debug=False)
print('OK')
print(client.set('name', 'disen', time=0))
print(client.set_multi({'age':20, 'sex': '男', 'city':'西安'},
                 key_prefix='u12330', time=3))

name = client.get('name')
time.sleep(5)
data = client.get_multi(['age','city'], key_prefix='u12330')
print('--->', name, data)