MEMCACHE缓存的深度解析

笔记上传:

一:Memcahce的深度解析:

1.Memcache是什么:

Memcache是一套分布式的高速缓存系统,最早是为了LiveJournal服务的,目前被许多网站使用以提升网站的访问速度,尤其对于一些大型的、需要频繁访问数据库的网站访问速度提升效果十分显著。

2.MemCache的工作流程如下:

它采用了c/s的模式,先检查客户端的请求数据是否在memcached中,如有,直接把请求数据返回,不再对数据库进行任何操作;如果请求的数据不在memcached中,就去查数据库,把从数据库中获取的数据返回给客户端,同时把数据缓存一份到memcached中(memcached客户端不负责,需要程序明确实现);每次更新数据库的同时更新memcached中的数据,保证一致性;当分配给memcached内存空间用完之后,会使用LRU策略(Least Recently Used,最近最少使用)加上到期失效策略失效数据首先被替换,然后再替换掉最近未使用的数据。注意:这些对象不是持久的,服务停止之后,其中的数据会丢失。

3.Memcache的工作原理:

工作原理包括存和读两部分:

存:Client端通过指定的server端的ip地址进行访问,需要缓存的对象或者数据以key-value的形式保存在server端。key通过hash,根据hash值吧value放到对应的server上。

读:当需要获取对象数据时,先对key进行hash,通过获得的值可以确定他被保存在哪台server上,然后再向该server发出请求。

也就是说Client端,只需要知道保存hash(key)的值在哪台服务器上就可以了。

Memcache通过在内存里维护一个统一的巨大的hash表,它能够用来存储各种格式的数据,包括图像,视频,文件以及数据库检索的结果等。简单的说就是将数据调用到内存中,然后从内存中读取,从而大大提高读取速度。

Memcached是以守护程序(监听)方式运行于一个或多个server中,随时会接收客户端的连接和操作。



4.Memcache与Memcached的区别:

前者:是这个项目的名称,而后者是他服务器的主程序的文件名。


5.Memcache的特性:

1).memcached是一种无阻塞的socket通信方式服务,基于libevent库,由于无阻塞通信,对内存读写速度非常之快。

2).memcached分服务器端和客户端,可以配置多个服务器端和客户端,应用于分布式的服务非常广泛。

3).memcached作为小规模的数据分布式平台是十分有效果的。

4).Memcached单进程在32位系统中最大使用内存为2G,若在64位系统则没有限制,这是由于32位系统限制单进程最多可使用2G内存,要使用更多内存,可以分多个端口开启多个Memcached进程 。

5). 最大30天的数据过期时间,设置为永久的也会在这个时间过期,常量REALTIME_MAXDELTA: 60*60*24*30控制

6).最大键长为250字节,大于该长度无法存储,常量KEY_MAX_LENGTH 250控制

7).单个item最大数据是1MB,超过1MB数据不予存储,常量POWER_BLOCK 1048576进行控制,

8).最大同时连接数是200(与tomcat一致),通过 conn_init()中的freetotal进行控制,最大软连接数是1024,通过

  settings.maxconns=1024 进行控制


6.Memcache的应用:

Memcache本来支持分布式,我们的key可以适当进行有规律的封装,比如以user为主的网站来说,每个用户都有UserID,那么可以按照固定的ID来进行提取和存取,比如1开头的用户保存在第一台Memcache服务器上,以2开头的用户的数据保存在第二台Memcache服务器上,存取数据都先按照User ID来进行相应的转换和存取。
但是这个有缺点,就是需要对User ID进行判断,如果业务不一致,或者其他类型的应用,可能不是那么合适,那么可以根据自己的实际业务进行考虑,或者去想更合适的方法。


7.Memcached的高并发的问题:

前几天,面试官问了我memcache并发的处理问题,自己平常没有考虑这么多,只是简单的set和get。看来不行。
memcached是原子的吗?是的:
所有的被发送到memcached的单个命令是完全原子的。如果您针对同一份数据同时发送了一个set命令和一个get命令,它们不会影响对方。它们将被串行化、先后执行。即使在多线程模式,所有的命令都是原子的,除非程序有bug:)
命令序列不是原子的。如果您通过get命令获取了一个item,修改了它,然后想把它set回memcached,我们不保证这个item没有被其他进程(process,未必是操作系统中的进程)操作过。在并发的情况下,您也可能覆写了一个被其他进程set的item。


memcached 1.2.5以及更高版本,提供了gets和cas命令,它们可以解决上面的问题。如果您使用gets命令查询某个key的item,memcached会 给您返回该item当前值的唯一标识。如果您覆写了这个item并想把它写回到memcached中,您可以通过cas命令把那个唯一标识一起发送给 memcached。如果该item存放在memcached中的唯一标识与您提供的一致,您的写操作将会成功。如果另一个进程在这期间也修改了这个 item,那么该item存放在memcached中的唯一标识将会改变,您的写操作就会失败。



8.Memadmin管理系统的介绍

原因:Memcache就是一个服务器进程,默认是没有可视化的监控,而且还无法动态的查看和修改memcache中的数据.所以为了方便,我们安装Memadmin可视化的监控系统。

Memadmin是一个用PHP编写的可视化的MemCached管理系统
MemAdmin是一款可视化的Memcached管理与监控工具,使用PHP开发,体积小,操作简单。
主要功能:
服务器的参数监控:STATS、SETTINGS、ITEMS、SLABS、SIZES实时刷新;
服务器性能监控:GET、DELETE、INCR、DECR、CAS等常用操作命中率实时监控;
支持数据遍历,方便对存储内容进行监视;
支持条件查询,筛选出满足条件的KEY或VALUE;
数组、JSON等序列化字符反序列显示;
兼容memcache协议的其他服务,如Tokyo Tyrant (遍历功能除外);
支持服务器的连接池,多服务器管理切换方便简洁。




9.Redis和Memcache的区别:

1.Redis是既是费关系型数据库,也可以作为缓存来使用。而且Redis的测试结果显示比Memcache要快,原因:Libevent,Memcache使用了libevent作为自己的事件通知库(Libevent 是一个用C语言编写的、轻量级的开源高性能事件通知库,亮点:事件驱动,跨平台,支持多种 I/O 多路复用技术,注册事件优先级等等),而redis并没有,而且Libevent为了迎合通用性,使得代码量大,牺牲了在特定的平台的不少性能。

2.Redis的数据全部存放于内存带来了告诉的性能,但是也有不合理之处。比如一个中型网站有100万注册用户,如果这些资料都用Redis来存储,内存的容量必须能容纳这100万用户。但是实际情况是:100万中只有5万的活跃用户,1周来访问过1次的也只有15万用户,因此,RAM需要为冷数据买单。

关于这点,Redis为了实现数据的冷热分离,与操作系统非常类似,操作系统所有的应用访问的数据都在内存,但是如果物理内存容纳不下新的数据,操作系统会将部分长期没有访问的数据交换到磁盘,从而实现了数据的冷热分离。





阅读更多
文章标签: Memcache 高并发
个人分类: Memcache
相关热词: memcache
上一篇SOAP协议的深度解析
下一篇MEMCACHE的内存管理和删除策略
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭