Memcached学习、应用

一、基本概述
C/S架构，纯内存，集群之间无关，C语言2000行代码，高效，libevent

memcached当内存达到设定值时，会用LRU算法删除过期数据
缓存服务器预热


内存机制：
内存分配：slab allocator，原先的malloc，采用Free来回收，易出现内存碎片
预先分配大小内存块chunk,再把相同尺寸的chunk分成组（slab class），这些内存块不会释放，可以重复利用
memcached分配chunk大小不同的slab class
数据存在相应大小左右的slab class

一个memcached包含多少slab class,一个slab class包含相同大小的chunk

调优因子：
chunk的空间会浪费，可以通过调整调优因子 -f 默认是1.25，在启动时指定，可以控制内存组之间的大小差异，一般不要动
-f 越大，chunk增长就越大（倍数），chunk越大，分配的块量就少，内存浪费就越大


每个slab都 一样大，如果chunk size越大，则perslab就越小，反之


删除机制：
memcached不会释放己分配的内存空间（除非添加数据设定过期或内存满了），在数据过期后，客户端不能通过key取出它的值，
其存储空间被重新利用


memcached使用了一种lazy expiration策略，自己不会监控存入的key/value对是否过期，而是在获取key值时查看记录的时间戳，检查key是否过期
memcached在分配空间时，优先使用己经过期的key/value对空间，当分配的内存空间占满时,memcached就会使用LRU算法来分配空间，
删除最近最少使用的key/value对，将其空间分配给新的key/value对，在某些情况下，如果不想使用LRU算法时，可以在启动时用-M，
内存耗尽，会报错


lazy expiration策略:
比如：有 set(name, asion, 0, 3600) 过了3600秒就失效，失效后，并不会自动删除，只有当get查询时，检测是否过期，如果过期则删除，缓存新的数据




选型：
?存储100k以上用memcache，以下用redis，其实无论你使用哪一个，每秒处理请求的次数都不会成为瓶颈（比如瓶颈可能会在网卡）；
?需要更多的数据结构和并支持更丰富的数据操作，用redis；
?对数据持久化和数据同步有所要求，那么推荐你选择Redis。

二、服务安装：
安装前先要安装libevent
yum install libevent -y
yum install memcached -y
yum install nc -y




memcached -h
which memcached


如果找不到libevent-1.4.so.2库，则加下面
echo "/usr/local/lib" >>/etc/ld.so.conf


启动：放在rc.local中
memcached -d -c 10240 -p 11211 -m 16 -P /var/run/memcahced.pid -u root -l 192.168.2.59 
memcached -d -c 1024 -p 11211 -m 16  -u root 
memcached -d -c 1024 -p 11212 -m 16  -u root
memcached -d -c 1024 -p 11213 -m 16  -u root


-d ：后台运行
-m : 指定内存大小
-c ：并发连接数
-p ：端口
-P : pid
-u : 指定运行的用户
-vv ：显示调试信息
netstat -ntl


关闭memcached
pkill memcached



insert -->set 
select -->get 
delete -->delete


通过nc写入
printf "set key008 0 0 6\r\noldboy\r\n" | nc 127.0.0.1 11211   前面是key，后面是值,值的长度要跟前面key定义的长度一样
通过nc读取
printf "get key008\r\n" |nc 127.0.0.1 11211
通过nc删除
printf "delete key008\r\n" |nc 127.0.0.1 11211


查看Memcached状态
printf "stats\r\n" | nc 127.0.0.1 11211  



通过telnet写入
set user01 0 0 6 6个字符
oldboy
get user01 




memcached状态查看，不经常用，不用深入
stats 查看整体
stats settings 可以查看memcached设置
stats slabs             查看slab相关情况
stats items             查看items相关情况，key
stats sizes             查看存在key个数和大小
stats cachedump         查看key value
stats reset             清理统计数据

memcached命令语法
set key flags exptime bytes\r\n


HASH算法：
取模计算HASH：简单，但添加服务器后，会重组数据
一致性HASH：
hash(object1)=key1
hash(object2)=key2
hash(object3)=key3
hash(object4)=key4


hash(node1)=KEY1
hash(node2)=KEY2
hash(node3)=KEY3
hash(node4)=KEY4


顺时针存放，key1->KEY1中，以附近范围存放，并不精确存放


监控：
memcached web界面管理，与前面的状态命令一样的
一个开源的的php程序，解压到php下面
memadmin-1.0.12.tar.gz




命中率：hit/(hit+miss)
端口、进程是否存在
lsof -i :11211






企业场景：
内存大小确定，确定连接数，确定负载均衡（数据很重要）、确定分布式架构（并发很大、数据量很大）
实际的部署：就是安装，启动


三、项目：
MC分布式集群
DB前端缓存


DB前端缓存工作流程：
1.先读MC
2.MC没有，读数据库
3.数据返回用户
4.数据写入MC(SET)


生产环境中memcached的使用场景，主要是memcached存储关系型数据库mysql的查询结果，比如网站的下载排名等，这种查询每次从关系型数据库中查询，会增加磁盘的I/O开销，而这个排名不需要实时的更新，
所以我们把这个结果存在memcached中，memcached是把数据序列化存放在内存中，我们可以设置超时时间，然后周期性的从关系型数据库查询新的结果更新到memcached中。


程序的作用就是：先从memcached查询薪水最高的两个人，打印他们的姓名和薪水，如果没有返回结果，说明memcached中不存在，那么我们从关系型数据库mysql中去查询结果，然后更新在memcached中，
再次请求，就会从memcached直接返回结果


代码如下：
[root@virtdb55 py]# more mcorder.py 
#!/usr/bin/python


import sys


import MySQLdb


import memcache


memc = memcache.Client(['127.0.0.1:11211'], debug=1);


key = memc.get("top2salary")


if key != None:


        print "Load data from Memcache : %s,%s" % (key[0],key[1])


else:


    print "Updating memcached data from MySQL."


    conn = MySQLdb.connect (host = "192.168.2.61",


                            user = "root",


                            passwd = "5e4aroo2t",


                            db = "employees")


    cursor = conn.cursor()


    cursor.execute('select * from salaries order by salary limit 2')


    rows = cursor.fetchall()




    memc.set('top2salary',rows,60*1)
    value = memc.get("top2salary")
    print value






[root@virtdb55 py]# more mccount.py 
#!/usr/bin/python


import sys


import MySQLdb


import memcache


memc = memcache.Client(['127.0.0.1:11211'], debug=1);


key = memc.get("count")


if key != None:


    print "Load data from Memcache : %s" % key


else:


    print "Updating memcached data from MySQL."


    conn = MySQLdb.connect (host = "192.168.2.61",


                            user = "root",


                            passwd = "5e4aroo2t",


                            db = "employees")


    cursor = conn.cursor()


    cursor.execute('select count(*) from employees')


    count = cursor.fetchone()[0]




    memc.set('count',count,60*1)
    value = memc.get("count")
    print value


       




一致性HASH算法：




https://pymemcache.readthedocs.io/en/latest/getting_started.html#basic-usage
pip install pymemcache




#coding:utf8
from memcache_ring import mc
import MySQLdb
#如果在memcache中就不查数据库，不在就取出来并存一份
sql = "select * from zwhset where id=100"
key = str(hash(sql))
#查数据库
def select_sql(sql):
    conn = MySQLdb.connect(host="localhost",user="root",passwd="",db="test",charset="utf8")
    cursor = conn.cursor()
    cursor.execute(sql)
    value = cursor.fetchall()
    #如果没有查到数据，则原值返回
    if not value:
        return value
    else:
        key = str(hash(sql))
        #把存储的结果给调用程序
        return mc(key,value)
#读数据，先看memcached里有没有，有就直接返回memcached查的值，没有就查数据库，
#如果数据库也返回空的话原值返回，如果有值就写memcached,然后把value返回
if not mc(key):
    select_sql(sql)
else:
    mc(key)






http://www.tuicool.com/articles/qM3eYrb
http://cwtea.blog.51cto.com/4500217/1351032/
https://pypi.python.org/pypi/hash_ring
果你想更方便的实现一致性hash，那就用hash_ring 


简单的说:如果你服务器部署多个redis,memechace想要客户端通过负载均衡的方式访问，就要用到这个hash_ring


python-memcached模块原生支持集群操作，其原理是在内存维护一个主机列表，且集群中主机的权重值和主机在列表中重复出现的次数成正比


     主机     权重   1.1.1.1     1   1.1.1.2     2   1.1.1.3     1
内存中主机列表：   host_list = ["1.1.1.1", "1.1.1.2", "1.1.1.2", "1.1.1.3", ]代码实现


?
1 mc = memcache.Client([('1.1.1.1:11211', 1), ('1.1.1.2:11211', 2), ("1.1.1.3:11211, 1")], debug=True)< 






pkill memcached
memcached -d -c 1024 -p 11211 -m 16  -u root 
memcached -d -c 1024 -p 11212 -m 16  -u root
memcached -d -c 1024 -p 11213 -m 16  -u root
memcached -d -c 1024 -p 11214 -m 16  -u root
memcached -d -c 1024 -p 11215 -m 16  -u root


python hashmc.py 




pip install pymemcache


分布式写所有节点
[root@virtdb55 py]# more hashmc.py 
from pymemcache.client.hash import HashClient


client = HashClient([
    ('127.0.0.1', 11211),
    ('127.0.0.1', 11212),
    ('127.0.0.1', 11213),
    ('127.0.0.1', 11214),
    ('127.0.0.1', 11215)
])


for i in range(1,10000):
    value = str(i)+ 'hahahahahaha'
    client.set(str(i),value)
   




一致性HASH读有问题
[root@virtdb55 py]# more hashmc_get.py 
#!/usr/bin/python


from pymemcache.client.hash import HashClient






client = HashClient([
    ('127.0.0.1', 11211),
    ('127.0.0.1', 11212),
    ('127.0.0.1', 11213),
    ('127.0.0.1', 11214),
    ('127.0.0.1', 11215)
])


for i in range(1,10000):
    result = client.get(str(i))
    if result == None:
        print 'updating to memcached'
        value = str(i)+ 'hahahahahaha'
        client.set(str(i),value,60*1)
    else:
        print result








python hash_ring 一致性HASH算法2：OK


安装：
pip install hash_ring




分布式写memcached
[root@virtdb55 py]# more hash3.py 
#!/usr/bin/env python
import memcache
from hash_ring import *


for i in range(1,100000):
    memcache_servers=['127.0.0.1:11211','127.0.0.1:11212','127.0.0.1:11213','127.0.0.1:11214','127.0.0.1:11215']
    ring = HashRing(memcache_servers)
    server = ring.get_node(str(i))
    print server


    mc = memcache.Client([server],debug=1)


    key = str(i)
    mc.set(key,"id1|id2|in")
    value = mc.get(key)
    print value




停掉一个memcached
启动失败的memcached


分布式读
[root@virtdb55 py]# more hash3get.py 
#!/usr/bin/env python
import memcache
from hash_ring import *


for i in range(100,200):
    memcache_servers=['127.0.0.1:11211','127.0.0.1:11212','127.0.0.1:11213','127.0.0.1:11214','127.0.0.1:11215']
    ring = HashRing(memcache_servers)
    server = ring.get_node(str(i))
    print server


    mc = memcache.Client([server],debug=1)


    key = str(i)
    value = mc.get(key)
    if value == None:
        print "Not find key"
    else:
        print "key: " + value


基于mysql数据库的分布式读
[root@virtdb55 py]# more hash3getdb.py 
#!/usr/bin/python


import sys


import MySQLdb


import memcache


from hash_ring import *


memcache_servers=['127.0.0.1:11211','127.0.0.1:11212','127.0.0.1:11213','127.0.0.1:11214','127.0.0.1:11215']
ring = HashRing(memcache_servers)




server = ring.get_node("count")
print server
mc = memcache.Client ([server], debug = 1)


key = mc.get("count")






if key != None:


    print "Load data from Memcache : %s" % key


else:


    print "Updating memcached data from MySQL."


    conn = MySQLdb.connect (host = "192.168.2.61",


                            user = "root",


                            passwd = "5e4aroo2t",


                            db = "employees")


    cursor = conn.cursor()


    cursor.execute('select count(*) from employees')


    count = cursor.fetchone()[0]




    mc.set('count',count,60*1)
    value = mc.get("count")
    print value 




统计每个节点的key数量
printf "stats items\r\n" | nc 127.0.0.1 11211 |grep number |awk -F ':' '{print $3}' |awk '{print $2}'
printf "stats items\r\n" | nc 127.0.0.1 11212 |grep number |awk -F ':' '{print $3}' |awk '{print $2}'
printf "stats items\r\n" | nc 127.0.0.1 11213 |grep number |awk -F ':' '{print $3}' |awk '{print $2}'
printf "stats items\r\n" | nc 127.0.0.1 11214 |grep number |awk -F ':' '{print $3}' |awk '{print $2}'
printf "stats items\r\n" | nc 127.0.0.1 11215 |grep number |awk -F ':' '{print $3}' |awk '{print $2}'






命令情况：
printf "stats\r\n" | nc 127.0.0.1 11211 |grep get_hits |awk '{print $3}'
printf "stats\r\n" | nc 127.0.0.1 11212 |grep get_hits |awk '{print $3}'
printf "stats\r\n" | nc 127.0.0.1 11213 |grep get_hits |awk '{print $3}'
printf "stats\r\n" | nc 127.0.0.1 11214 |grep get_hits |awk '{print $3}'
printf "stats\r\n" | nc 127.0.0.1 11215 |grep get_hits |awk '{print $3}'


printf "stats\r\n" | nc 127.0.0.1 11211 |grep get_misses |awk '{print $3}'
printf "stats\r\n" | nc 127.0.0.1 11212 |grep get_misses |awk '{print $3}'
printf "stats\r\n" | nc 127.0.0.1 11213 |grep get_misses |awk '{print $3}'
printf "stats\r\n" | nc 127.0.0.1 11214 |grep get_misses |awk '{print $3}'
printf "stats\r\n" | nc 127.0.0.1 11215 |grep get_misses |awk '{print $3}'


查看命中率情况脚本：
[root@virtdb55 ~]# more mchit.sh 
#!/bin/sh
printf "stats\r\n" | nc 127.0.0.1 11211 |grep get_hits |awk '{print $3}'>>/tmp/hits.txt
printf "stats\r\n" | nc 127.0.0.1 11212 |grep get_hits |awk '{print $3}'>>/tmp/hits.txt
printf "stats\r\n" | nc 127.0.0.1 11213 |grep get_hits |awk '{print $3}'>>/tmp/hits.txt
printf "stats\r\n" | nc 127.0.0.1 11214 |grep get_hits |awk '{print $3}'>>/tmp/hits.txt
printf "stats\r\n" | nc 127.0.0.1 11215 |grep get_hits |awk '{print $3}'>>/tmp/hits.txt


printf "stats\r\n" | nc 127.0.0.1 11211 |grep get_misses |awk '{print $3}'>>/tmp/miss.txt
printf "stats\r\n" | nc 127.0.0.1 11212 |grep get_misses |awk '{print $3}'>>/tmp/miss.txt
printf "stats\r\n" | nc 127.0.0.1 11213 |grep get_misses |awk '{print $3}'>>/tmp/miss.txt
printf "stats\r\n" | nc 127.0.0.1 11214 |grep get_misses |awk '{print $3}'>>/tmp/miss.txt
printf "stats\r\n" | nc 127.0.0.1 11215 |grep get_misses |awk '{print $3}'>>/tmp/miss.txt




HIT=`cat /tmp/hits.txt |awk '{sum+=$1} END {print sum}'`
MIS=`cat /tmp/miss.txt |awk '{sum+=$1} END {print sum}'`


percent=$(printf "%d%%" $((HIT*100/(HIT+MIS))))
echo $percent
echo $percent >>/tmp/mchit.txt




sh mchit.sh








printf "stats\r\n" | nc 127.0.0.1 11211
printf "stats reset\r\n" | nc 127.0.0.1 11211






python hashmc.py


printf "stats items\r\n" | nc 127.0.0.1 11212 |grep number |awk -F ':' '{print $3}' |awk '{print $2}'
174752
[root@virtdb55 py]# printf "stats items\r\n" | nc 127.0.0.1 11212 |grep number |awk -F ':' '{print $3}' |awk '{print $2}'
174752
[root@virtdb55 py]# printf "stats items\r\n" | nc 127.0.0.1 11213 |grep number |awk -F ':' '{print $3}' |awk '{print $2}'
174752
[root@virtdb55 py]# printf "stats items\r\n" | nc 127.0.0.1 11214 |grep number |awk -F ':' '{print $3}' |awk '{print $2}'
174752
[root@virtdb55 py]# printf "stats items\r\n" | nc 127.0.0.1 11215 |grep number |awk -F ':' '{print $3}' |awk '{print $2}'
174752

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/91975/viewspace-2125203/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/91975/viewspace-2125203/