关闭

深入理解memcached,高并发、懒惰与LRU(一)

标签: 深入理解memcached高并发懒惰与LRU一
2405人阅读 评论(0) 收藏 举报
分类:


1. Memcached如何支持高并发

        Memcached使用多路复用I/O模型。传统阻塞I/O中,系统可能随时因为某个用户连接还没做好I/O准备而一直等待,知道这个连接做好准备。如果这是有其他的用户连接服务器,就很可能因为系统阻塞得不到响应。

而多路复用I/O是一种消息通知模式,用户连接做好I/O准备后,系统才会通知我们这个连接可以进行I/O操作。这样就不会阻塞在某个用户连接。因此memcached才支持高并发。

        此外,memcached使用了多线程模式,在开启memcached服务器时 使用‘-t’参数可以指定要开启的线程数。但并不是线程数越多越好。一般设置为CPU核数,这样效率最高。因为线程越多,系统需要的线程调度时间越多。而把CPU线程数设置成CPU核数,系统调度的时间最少。

2. 删除过期item

          Memcached为每个item设置了一个过期时间,但不是到期就把item从内存中删除,而是访问item时如果到了有效期,才把item删除,实现的代码如下:

<span style="font-family:Microsoft YaHei;font-size:18px;"><span style="font-family:Microsoft YaHei;font-size:14px;"><?
      //删除过期的item代码
      item *do_item_get_notedeleted(const char*key,const size_t nkey,bool *delete_locked){
             item *it = assoc_find(key ,nkey);
             if(delete_locked) *delete_locked =false;
             if(it != NULL && (it ->it_flags & ITEM_DELETED)){
                    if(!item_delete_lock_over(it)){
                           if(delete_locked)*delete_locked = true;
                           it = null;
                    }
             }
             if(it != null &&settings.oldest_live != 0 && settings.oldest_live <= current_time&& it -> time <= settings.oldest_live){
                    do_item_unlink(it);
                    it = null;
             }
             if(it != null && it ->exptime != 0 && it -> exptime <= current_time){
                    do_item_unlink(it);
                    it = null;
             }
             if(!it = null ){
                    it -> refcount ++;
                    DEBUG_REFCNT(it,'+');
             }
             return it;
}</span></span>


       使用do_item_get_notedeleted函数在memcached中查找指定的item,从上面代码可知,当item过期时间早于当前时间时,便会删除此item。

       延迟删除过期的iten到查找进行,可以提高memcached的效率。这样不必每时每刻检查过期item,从而提高CPU工作效率。

3. 使用LRU算法淘汰数据

       使用slabs_alloc函数申请内存失败时,就开始淘汰数据了。淘汰规则是,从数据项列表尾部开始遍历,在列表中查找一个引用计数器为0的item,把此item释放掉。

        为什么要从item列表尾部开始遍历呢? 因为memcached会把刚刚访问过的item放到item列表头部,所以尾部的item都是没有或很少访问的,这就是LRU算法的精髓。

        如果在item列表找不到计数器为0的item,就查找一个3小时没有访问过的item。把他释放,如果还是找不到,就返回NULL(申请内存失败)。

         从上面的分析可以知道,当内存不足时,memcached会把访问比较少或者一段时间没有访问的item淘汰,以便腾出内存空间存放新的item。

更多可以参考:

http://www.cnblogs.com/xianbei/archive/2011/01/18/1924893.html


1
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:105876次
    • 积分:2473
    • 等级:
    • 排名:第15822名
    • 原创:141篇
    • 转载:14篇
    • 译文:0篇
    • 评论:15条
    最新评论