Memcached在session缓存处理

原贴：http://wf.xplore.cn/read.php/91.htm

Memcached在session缓存处理

大 | 中 | 小

[ 2007/02/02 20:09 | by wirlfly ]

       Memcached是一个很好的东西.在分布式内存管理领域给我很有启发性.不过其分布式的处理不是在其服务器端实现,而是在基于客户端的一个中间层上 实现的.这种处理分布式的方式在应付中小型要求上很有实际效果.由于不能维持一个动态的分布式Hash表,因此其在分布式应用上的高度还不够.不过这个方 法提供了一个学习的例子.
       文章借鉴了 heiyeluren的blog(黑夜路人的开源世界)在 这篇帖子上编写了一个session类,并做了修改,生成的新类在文章末尾以文件方式给出.如果有兴趣,可以供参考.同时提供了两个运用的例子,在此向heiyeluren致敬了.
       
本文内容如下:
       1.关于本文档
       2.libevent,memcache相关说明
       3.搭建memcache分布式环境
       4.mem_session类说明
       5.两个样例程序说明
       6.使用过程中需要注意的问题

1.关于本文档
       本文档是用来构建存储session的memcache环境,并对session操作类mem_session做了详细说明,提供了两个使用该类的例子.
       文档分六个部分:
       第一部分.关于本文档,主要介绍文档组织和文档目的
       第二部分.libevent,memcache相关说明,主要介绍搭建环境中使用到的软件包.
       第三部分.搭建memcache分布式环境,主要诠释怎样搭建分布式memcache环境
       第四部分.mem_session类说明,主要分析mem_session类的成员函数和变量,是文档的主要部分和重点所在
       第五部分.两个样例程序说明,分析两个使用mem_session类操作session的例子
       第六部分.使用过程中需要注意的问题,一些使用看法和问题提交
       如果是系统工程师,请参考第一,二,三部分即可;如果是开发工程师,请仔细参考第二,四,五,六部分.如果需要在此基础上进行二次开发,请直接查看源代码.memcached的源代码下载地址: http://www.danga.com/memca...,可以下载到最新版本.

2.libevent,memcache相关说明
       搭建memcache的环境需要安装配置memcache服务器端和安装memcache客户端.而memcache服务器端是以daemon方式运 行,下面将memcache服务器端简称为memcached,是基于libevent库实现异步io(使用epoll)的.因此在安装 memcached端是还需要安装libevent库,如果系统中不存在的话.
       memcache的客户端是以php extension方式工作的.也即是php官方认可的软件包编译成php extension.当然,完全可以自己写一个memcache的客户端.具体编写方式网络上有一些相关的文档可以参考.
       同时,需要注意的是,memcached部分实现的是内存空间分配和回收,以及存储服务监听和提供.对于分布式的实现,取决于客户端的使用和构造.我们使用的客户端是完全支持分布式的.只是可能会出现某些问题,这个在后面会有详细的描述.

3.搭建memcache分布式环境
       搭建memcache分布式环境需要三个软件包,目前统一软件包的版本为:libevent-1.1b.tar.gz,memcache- 2.1.0.tgz,memcached-1.1.13.tar.gz.这些在31~34的/home/zhengyu/tools里面都能找到.
        xplore提供下载: libevent, memcached, memcache下载

       按以下三个步骤:
       1) 先安装libevent：

引用

# tar zxvf libevent-1.1b.tar.gz
# cd libevent-1.1b
# ./configure --prefix=/usr
# make >make.log 2>&1
# sudo make install >install.log 2>&1

       如果没有错误,那么应该是安装成功了,可以通过查看/usr/lib目录看看是否安装成功：

引用

# ls -al /usr/lib | grep libevent
lrwxrwxrwx    1 root root       22 Jan  9 13:34 libevent-1.1b.so.1 -> libevent-1.1b.so.1.0.2
-rwxr-xr-x    1 root root    91205 Jan  9 13:34 libevent-1.1b.so.1.0.2
-rw-r--r--    1 root root   121472 Jan  9 13:34 libevent.a
-rwxr-xr-x    1 root root      808 Jan  9 13:34 libevent.la
lrwxrwxrwx    1 root root       22 Jan  9 13:34 libevent.so -> libevent-1.1b.so.1.0.2

       2)再安装memcached:

引用

# tar zxvf memcached-1.1.13.tar.gz
# cd memcached-1.1.13
# ./configure --prefix=/usr/local --with-libevent=/usr
# make >make.log 2>&1
# sudo make install >install.log 2>&1

       如果中间出现报错，请仔细检查错误信息，按照错误信息来配置或者增加相应的库或者路径。
       安装完成后会把memcached放到 /usr/local/bin/memcached ，我们看以下是否安装了：

引用

# ls -al /usr/local/bin/mem*
-rwxr-xr-x  1 root root 78340 Jan  9 13:42 /usr/local/bin/memcached
-rwxr-xr-x  1 root root 80365 Jan  9 13:42 /usr/local/bin/memcached-debug

       安装完成之后,必须启动一个memcached的守护进程,提供服务,启动方式如下:

引用

# /usr/local/bin/memcached -d -m 512 -l 10.68.1.31 -p 11211 -u www

       还有其他的参数,具体可以参看memcached的说明文档:

引用

# /usr/local/bin/memcached -h
memcached 1.1.13
-p      port number to listen on
-l  interface to listen on, default is INDRR_ANY
-d            run as a daemon
-r            maximize core file limit
-u assume identity of (only when run as root)
-m      max memory to use for items in megabytes, default is 64 MB
-M            return error on memory exhausted (rather than removing items)      注意
-c      max simultaneous connections, default is 1024                                                      注意
-k            lock down all paged memory
-v            verbose (print errors/warnings while in event loop)
-vv           very verbose (also print client commands/reponses)
-h            print this help and exit
-i            print memcached and libevent license
-b            run a managed instanced (mnemonic: buckets)
-P     save PID in , only used with -d option                                                       pid文件

       -d选项是启动一个守护进程，-m是分配给memcache使用的内存数量，单位是MB，-l是监听的服务器IP地址，-p是设置memcache监听 的端口, -u是运行memcache的用户.还有-M,-P,-c参数可以设置.也可以启动多个守护进程，不过端口不能重复。
       为了方便管理,在31~34的/home/zhengyu/bin下面有一个启动控制脚本,是为memcache服务的启动,关闭,重启服务的.名字为mem_session.sh,执行方式为:

引用

# /home/zhengyu/bin/mem_session.sh start|stop|restart [512(-m的参数)]

       3)最后安装memcache的php客户端,这个在每个需要用到memcache服务的机器上都需要安装,memcache的php客户端是以php extension的方式安装的.

引用

# tar zxvf memcache-2.1.0.tgz
# cd memcache-2.1.0
# /usr/local/php/bin/phpize
# ./configure --enable-memcache --with-php-config=/usr/local/php/bin/php-config --with-zlib-dir
# make >make.log 2>&1
# sudo make install >install.log 2>&1

       如果执行过程中没有出错的话,在install.log将回写入一个目录,这个目录即为编译好的extension memcache.so的所在地.

引用

Installing shared extensions:     /usr/local/php/lib/php/extensions/no-debug-non-zts-20020429/

       需要在php.ini文件中相应的位置加入:

引用

extension_dir = "/usr/local/php/lib/php/extensions/no-debug-non-zts-20020429/"
extension=memcache.so

       或者将路径改变,自己定义.然后在memcache-2.1.0下有个example.php,修改了host,port之后就可以做个简单的测试了.

4.mem_session类说明
       基于heiyeluren编写session类修改而来的mem_session类当作memcached的客户端,提供给php代码使用,此类是 svn库/data0/vshare/htdocs/include/mem_session.php.使用时只需引用该文件,同时引用 memcached服务器ip列表文件/data0/vshare/conf/memcache_server_ip.php(这个在类中已经完成了).
       下面详细讲述mem_session中的变量与方法(目前试用的版本):
       1.变量:

引用

       $server_ip                              = array();                              //在/data0/vshare/conf/memcache_server_ip.php中定义的memcached服务器ip列表
       $sess_id                                = '';                                           //session id,一个md5串,128位,16个字节
       $sess_key_prefix        = 'sess_';                              //区别别的session而加的session头描述
       $sess_expire_time       = 3600;                                 //session的生存时长,固定为一个小时.目前版本的类中并没有一个修改它的方法.
       $cookie_name            = '__SessHandler';      //client中对应于该session的cookie名称
       $cookie_expire_time     = '';                                           //cookie的生存时长,默认为无限长,目前版本的类中也没有一个修改它的方法.
       $conn                                           = null;                                 //建立到memcached的连接.
       $error                  = '';                                           //错误字符串,目前版本只是简单的出错提示.

       2.方法:

引用

                函数名                                                参数返回值                                                  函数描述备注
1               is_registered                   $key(string)                    true|false(bool)                判断某个键值是否在SESSION中已经注册(存在),存在返回true                                    无
2               register                                        $key(string)                    true|false(bool)判断某个键值是否在SESSION中已经注册(存在),存在返回true                                  无
3               set                                             $key,$value                             true将键为$key的值设置为$value，不管存在与否都将建立                                                        无
4               unregister                              $key                                            true将键为$key的变量注销掉无
5               destroy                                 无                                                      true                                              将整个Session变量集注销掉无
6               get                                             $key(string)                    false|$value(string)      获取键为$key的值$value无
7               get_all                                 无                                                      $SESSION(array)           获取真个Session变量集无
8               get_sid                                 无                                                      $sess_id(string)          获取当前session的32位id无
9               get_mem_config                  无                                                      $server_ip(array)         获取当前mem_session服务器的ip地址数组无
10              close_sess                              无                                                      true                                              关闭当前mem_session的连接无
11              debug                                           无                                               $error(string)                   获取调试信息，简单的为出错信息的字符串无
---------------------------------------------------------------------------------------------------------------------------------
12      _get_session                    $sess_id                                        $sess_data(array)内部函数，通过$sess_id获取$SESSION无
13      _save_session                   $sess_id                                        true|false(bool)内部函数，保存$SESSION,并将其键设置为$sess_id                                                           无
14      _init_memcache_obj      无                                                      true|false(bool)在构造函数中初始化时调用无

5.两个样例程序说明
       下面的两个例子,可以通过**访问到.
       example1:

引用

include_once("include/mem_session.php");                                        //引入mem_session类说明

$mm = new mem_session();
echo "starting mem_session test
";

$sess_id = $mm->get_sid();                                                                              //获取当前会话的id
echo "
";
echo " sessid ".var_dump($sess_id);
echo "
";

$all = $mm->get_all();                                                                                  //获取当前会话种入的所有变量值
var_dump($all);

$mm->register('akey','i am akey');                                                      //向当前会话中创建一个变量,如果该变量存在,则不会做任何操作
$mm->register('bkey','i am bkey');
$mm->register('ckey','i am ckey');

$a1 = $mm->get('akey');                                                                                 //获取当前会话中的单个变量.如果变量不存在,返回false.
$b1 = $mm->get('bkey');
$c1 = $mm->get('ckey');
var_dump($a1);
var_dump($b1);
var_dump($c1);

$mm->set("akey","i am aakey,notice: i am changed.");    //设置当前会话中的一个变量,如果变量不存在,则先创建,然后设置.如果存在,则无条件设置

$a2 = $mm->get("akey");
var_dump($a2);

$mm->unregister('ckey');                                                                                //从当前会话中注销掉一个变量.如果不存在,不做任何操作.
$c2 = $mm->get('ckey');
var_dump($c2);

$error = $mm->debug();                                                                                  //获取调试信息
var_dump($error);

$sess_id = $mm->get_sid();
echo "
";
echo " sessid ".var_dump($sess_id);
echo "
";

$another_all = $mm->_get_session($sess_id);                             //这个是内部函数,测试之用,极不推荐.
var_dump($another_all);

$mm->close_sess();                                                                                              //关闭对mem_session服务器的链接

?>

       example2:
       这是一个更详细一点的样例.流程和上面的差不多.

引用

include_once("include/mem_session.php");

$mm = new mem_session();
echo "starting mem_session test
";

$sess_id = $mm->get_sid();
echo "
";
echo " sessid ".$sess_id;
echo "
";

$all = $mm->get_all();
print_r($all);

?>





       
       






       






       






       

test the mem_session functions:
keyword:	value:
keyword:
keyword:
sid:

if($_POST["set"] != "")
{
       if((($key = trim($_POST["set_key"]))!="") && (($value = trim($_POST["set_value"]))!=""))
       {
               $mm->set($key,$value);
               echo "
".$key." is set to value: ".$value."
";
       }
       else
       {
               echo "
you must fill all two field at first
";
       }
}

if($_POST["get"] != "")
{
       if(($key = trim($_POST["get_key"]))!="")
       {
               if($mm->is_registered($key) === true)
               {
                       $value = $mm->get($key);
                       echo "
".$key." is alread exist with value: ".$value."
";
               }
               else
               {
                       echo "
".$key." is not exist.
";
               }
       }
       else
       {
               echo "
you must fill the keyword field at first
";
       }
}

if($_POST["test"] != "")
{
       if(($key = trim($_POST["test_key"]))!="")
       {
               if($mm->is_registered($key) === true)
               {
                       $value = $mm->get($key);
                       echo "
".$key." is alread exist with value: ".$value."
";
               }
               else
               {
                       echo "
".$key." is not exist.
";
               }
       }
       else
       {
               echo "
you must fill the keyword field at first
";
       }
}

if($_POST["sid"] != "")
{
       if((($key = trim($_POST["sid_key"]))!="") && (strlen($key) == 32))
       {
               $all_sid = $mm->_get_session($key);
               echo "
";
               var_dump($all_sid);
               echo "
";
       }
       else
       {
               echo "
you must fill all two field at first OR fill it normally
";
       }
}

$error = $mm->debug();
echo "
The error is: ".$error."
";

$mm->close_sess();

?>

6.使用过程中需要注意的问题
       对于session而言,关闭浏览器即将结束一个session.也就是session_id将会被撤消.但是储存在memcached服务器内存中的 key-value并没有消失.需要等到memcached的算法清除掉这些过时的信息.因此大量垃圾信息可能会导致memcache的低命中率.如果条 件允许,你可以通过加大-m参数,也就是加大服务的内存空间,可以增加命中率.
       由于memcached的思想是在自定义的客户端使用一个lib包支持分布式,这种思路值得学习.解决了一些问题,诸如一旦出现网络问题,能够确保数据 的写入是正常的.但是却会出现另外的一些问题.如,网络问题导致某个分布式服务器中的一台失去联系之后,到这台机器恢复正常工作的这段时间内, 写入分布式服务器的数据将基本不可以获取.可以通过采用分布式hash表的方式解决这个问题.无疑,这将代价十分昂贵.

mem_session类:

下载文件 (已下载 38 次)

点击这里下载文件

Tags: memcached , session , epool , 分布式

技能学习 | 评论(2) | 引用(0) | 阅读(890)

引用功能被关闭了。

wf

2007/04/20 16:51

memcache service在存储数据时可以设置过期时间,memcached可以通过过期时间删除无用的数据.如果没有设置也没有关系.当memcache满了之 后,它会根据相应的算法丢弃一些数据,而容纳新的数据.(是LRU算法),具体的分析可以看一下这篇文章: http://wf.xplore.cn/read.p...

kakapo

2007/04/20 16:12

失去联系的如果是服务器端，那么客户端获取不了数据，客户端肯定要做判断吧？然后重新读取设置数据到另外一台服务器端。

如果失去联系的是客户端，那么服务器端会自己判断过期的数据，自己清理内存，这个应该没有问题吧。