NoSQL（memcached）

最新推荐文章于 2019-09-23 21:56:50 发布

chibazhen9407

最新推荐文章于 2019-09-23 21:56:50 发布

阅读量184

点赞数

文章标签： memcached php 网络

原文链接：https://my.oschina.net/u/3993922/blog/3011793

版权

什么是NoSQL

• 非关系型数据库就是NoSQL，关系型数据库（可以使用sql语句）代表MySQL

• 对于关系型数据库来说，是需要把数据存储到库、表、行、字段里，查询的时候根据条件一行一行地去匹配，当量非常大的时候就很耗费时间和资源，尤其是数据是需要从磁盘里去检索

• NoSQL数据库存储原理非常简单（典型的数据类型为k-v），不存在繁杂的关系链，比如mysql查询的时候，需要找到对应的库、表（通常是多个表）以及字段

• NoSQL数据可以存储在内存里，查询速度非常快

• NoSQL在性能表现上虽然能优于关系型数据库，但是它并不能完全替代关系型数据库

• NoSQL因为没有复杂的数据结构，扩展非常容易，支持分布式

常见的NoSQL数据库

• k-v形式的：memcached、redis 适合储存用户信息，比如会话、配置文件、参数、购物车等等。这些信息一般都和ID（键）挂钩，这种情景下键值数据库是个很好的选择。

• 文档数据库：mongodb 将数据以文档的形式储存。每个文档都是一系列数据项的集合。每个数据项都有一个名称与对应的值，值既可以是简单的数据类型，如字符串、数字和日期等；也可以是复杂的类型，如有序列表和关联对象。数据存储的最小单位是文档，同一个表中存储的文档属性可以是不同的，数据可以使用XML、JSON或者JSONB等多种形式存储。

• 列存储 Hbase

• 图 Neo4J、Infinite Graph、OrientDB

Memcached介绍

• Memcached是国外社区网站LiveJournal团队开发，目的是为了通过缓存数据库查询结果，减少数据库访问次数，从而提高动态web站点性能。

• 官方站点 http://www.memcached.org/

• 数据结构简单(k-v)，数据存放在内存里（重启机器数据会丢失，为保证数据安全，应该不定期把数据存储到磁盘中）

• 多线程

• 基于c/s架构，协议简单

• 基于libevent的事件处理（nginx类似）

• 自主内存存储处理（slab allowcation)

• 数据过期方式：Lazy Expiration 和 LRU

Memcached数据流向

Slab allocation

Slab Allocation的原理

• 将分配的内存分割成各种尺寸的块（chunk），并把尺寸相同的块分成组（chunk的集合），每个chunk集合被称为slab。

• Memcached的内存分配以Page为单位，Page默认值为1M，可以在启动时通过 -I 参数来指定。

• Slab是由多个Page组成的，Page按照指定大小切割成多个chunk。

Growth Factor

• Memcached在启动时通过-f 选项可以指定 Growth Factor因子。该值控制chunk大小的差异。默认值为1.25。

• 通过memcached-tool命令查看指定Memcached实例的不同slab状态，可以看到各Item所占大小（chunk大小）差距为1.25

• 命令：# memcached-tool 127.0.0.1:11211 display

Memcached的过期方式

Lazy Expiration

• Memcached 内部不会监视记录是否过期，而是在get时查看记录的时间戳，检查记录是否过期。这种技术被称为lazy（惰性）expiration。因此，Memcached不会在过期监视上耗费CPU时间。

LRU

• Memcached会优先使用已超时的记录的空间，但即使如此，也会发生追加新记录时空间不足的情况，此时就要使用名为Least Recently Used（LRU）机制来分配空间。顾名思义，这是删除“最近最少使用”的记录的机制。因此，当内存空间不足时（无法从slab class获取到新的空间时），就从最近未被使用的记录中搜索，并将其空间分配给新的记录。从缓存的实用角度来看，该模型十分理想。

安装mencached

yum安装。

yum insatll -y memcached

安装依赖于libevent，系统没有安装的话，在安装memecached时会自动安装。

[root@master shell_100]# ps aux|grep memcached
memcach+  1729  0.1  0.1 344092  1660 ?        Ssl  20:39   0:00 /usr/bin/memcached -u memcached -p 11211 -m 64 -c 1024
root      1736  0.0  0.0 112704   964 pts/0    S+   20:39   0:00 grep --color=auto memcache
[root@master shell_100]#

-u 指定启动用户，-p指定启动端口，-m指定分配内存大小M（常用），-c指定最大并发数，-l 指定监听IP

更改启动选项：

1、自定义启动，命令行形式启动，在后面添加参数；

2、在/etc/sysconfig/memcached文件中更改启动参数；

查看memcached的状态

1、memcached-tool 127.0.0.1:11211 stats

[root@master shell_100]# memcached-tool 127.0.0.1:11211 stats
#127.0.0.1:11211   Field       Value
         accepting_conns           1
               auth_cmds           0
             auth_errors           0
                   bytes           0
              bytes_read          33
           bytes_written          54
              cas_badval           0
                cas_hits           0
              cas_misses           0
               cmd_flush           0
                 cmd_get           0
                 cmd_set           0
               cmd_touch           0
             conn_yields           0
   connection_structures          11
        curr_connections          10
              curr_items           0
               decr_hits           0
             decr_misses           0
             delete_hits           0
           delete_misses           0
       evicted_unfetched           0
               evictions           0
       expired_unfetched           0
                get_hits           0
              get_misses           0
              hash_bytes      524288
       hash_is_expanding           0
        hash_power_level          16
               incr_hits           0
             incr_misses           0
                libevent 2.0.21-stable
          limit_maxbytes    67108864
     listen_disabled_num           0
                     pid        1729
            pointer_size          64
               reclaimed           0
            reserved_fds          20
           rusage_system    0.043158
             rusage_user    0.018171
                 threads           4
                    time  1550494045
       total_connections          12
             total_items           0
              touch_hits           0
            touch_misses           0
                  uptime         502
                 version      1.4.15

关注点：get_hits、cmd_get

在memcached中，运行state命令可以查看memcached服务的状态信息，其中cmd_get表示总的get次数，get_hits表示get的总命中次数，命中率 = get_hits/cmd_get。

2、echo stats |nc 127.0.0.1 11211

3、memestat --servers=127.0.0.1:11211

memestat 命令需要安装 libmemcached

三种方法都可以查看memecached运行状态。

Memcached命令行

用telnet IP port登录memcahced

[root@master shell_100]# telnet 127.0.0.1 11211
Trying 127.0.0.1...
Connected to 127.0.0.1.
Escape character is '^]'.

memcached语法规则：

<command name> <key> <flags> <exptime> <bytes>\r\n <data block>\r\n

• 注：\r\n在windows下是Enter键

• <command name> 可以是set, add, replace

• set表示按照相应的<key>存储该数据，没有的时候增加，有的时候覆盖

• add表示按照相应的<key>添加该数据,但是如果该<key>已经存在则会操作失败

• replace表示按照相应的<key>替换数据,但是如果该<key>不存在则操作失败。

• <key> 客户端需要保存数据的key

• <flags> 是一个16位的无符号的整数(以十进制的方式表示)。该标志将和需要存储的数据一起存储,并在客户端get数据时返回。客户端可以将此标志用做特殊用途，此标志对服务器来说是不透明的。

• <exptime> 为过期的时间。若为0表示存储的数据永远不过期(但可被服务器算法：LRU 等替换)。如果非0(unix时间或者距离此时的秒数),当过期后,服务器可以保证用户得不到该数据(以服务器时间为标准)。

• <bytes> 需要存储的字节数，当用户希望存储空数据时<bytes>可以为0

• <data block>需要存储的内容，输入完成后，最后客户端需要加上\r\n（直接点击Enter）作为结束标志。

实例：

[root@master shell_100]# telnet 127.0.0.1 11211
Trying 127.0.0.1...
Connected to 127.0.0.1.
Escape character is '^]'.
set key1 1 100 2
12
STORED
get key1 
VALUE key1 1 2
12
END
set key2 2 0 3
asd
STORED
get key2
VALUE key2 2 3
asd
END
replace key2 2 0 4
abcd  
STORED
delete key1
NOT_FOUND

Memcached数据导出和导入

memcached在服务器或者memcached服务重启后内存的数据会消失，所以有必要对数据进行备份导入导出。

1、导出

memcached-tool IP:port dump > bakup.txt

root@master shell_100]# memcached-tool 127.0.0.1:11211 dump>data.txt
Dumping memcache contents
  Number of buckets: 1
  Number of items  : 4
Dumping bucket 1 - 4 total items
[root@master shell_100]# cat data.txt 
add key2 2 1550493543 4
abcd
add name 1 1550493543 5
liang
add address 1 1550493543 2
BJ
add age 1 1550493543 2
29
[root@master shell_100]#

注意：如果设置的过期时间为0（永不过期），则导出的数据会以创建的时间戳为过期时间，所以会出现导入数据过期。

2、导入

nc IP port <data.txt

在导入前将数据的过期时间进行修改。

[root@master ~]# nc 127.0.0.1 11211 < data.txt 
STORED
STORED
STORED
STORED
[root@master ~]# telnet 127.0.0.1 11211
Trying 127.0.0.1...
Connected to 127.0.0.1.
Escape character is '^]'.
get key2
VALUE key2 2 4
abcd
END
get age
VALUE age 1 2
29
END

PHP连接memcached

先安装php的memcache扩展
cd /usr/local/src/
wget http://www.apelearn.com/bbs/data/attachment/forum/memcache-2.2.3.tgz
tar zxf memcache-2.2.3.tgz
cd memcache-2.2.3
/usr/local/php-fpm/bin/phpize
./configure --with-php-config=/usr/local/php-fpm/bin/php-config
make && make install
安装完后会有类似这样的提示：
Installing shared extensions: /usr/local/php-fpm/lib/php/extensions/no-debug-non-zts-20131226/
然后修改php.ini添加一行
extension="memcache.so“
检查/usr/local/php-fpm/sbin/php-fpm -m

测试php是否支持扩展模块

下载测试脚本

curl www.apelearn.com/study_v2/.memcache.txt > 1.php 2>/dev/null

[root@master ~]# /usr/local/php/bin/php 1.php 
Get key1 value: This is first value<br>Get key1 value: This is replace value<br>Get key2 value: Array
(
    [0] => aaa
    [1] => bbb
    [2] => ccc
    [3] => ddd
)
<br>Get key1 value: <br>Get key2 value: <br>[root@master ~]#

浏览器测试：

Memcached中存储sessions

站点web服务器有多台，会导致用户的登录信息一直在一个web服务器上，这时我们可以把session储存在一个固定的memcahed服务器中。

本实例是在lnmp环境下实现

编辑php.ini添加两行
session.save_handler = memcache
session.save_path = "tcp://192.168.0.9:11211"
或者httpd.conf中对应的虚拟主机中添加
php_value session.save_handler "memcache"
php_value session.save_path "tcp://192.168.0.9:11211"
或者php-fpm.conf对应的pool中添加
php_value[session.save_handler] = memcache
php_value[session.save_path] = " tcp://192.168.0.9:11211"

1、在php.ini中以下添加相关内容：

session.save_handler = memcache
session.save_path = "tcp://192.168.66.139:11211"

检查配置文件是否正确：

/usr/local/php-fpm/sbin/php-fpm -t

重启php-fpm服务：

/etc/init.d/php-fpm restart

下载session文件：

wget http://study.lishiming.net/.mem_se.txt

mv .mem_se.txt /data/wwwroot/www1.com/1.php

访问1.php，可以看到缓存到memcached中的session。

[root@master ~]# curl -x127.0.0.1:80 www.1.com/mem.php
1550506611<br><br>1550506611<br><br>ik50ijqn1lhlgmjj46cp044eu4 
[root@master ~]# telnet 127.0.0.1 11211
Trying 127.0.0.1...
Connected to 127.0.0.1.
Escape character is '^]'.
get ik50ijqn1lhlgmjj46cp044eu4
VALUE ik50ijqn1lhlgmjj46cp044eu4 0 37
TEST|i:1550506611;TEST3|i:1550506611;
END

转载于:https://my.oschina.net/u/3993922/blog/3011793

chibazhen9407

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
NoSQL（memcached）

什么是NoSQL • 非关系型数据库就是NoSQL，关系型数据库（可以使用sql语句）代表MySQL • 对于关系型数据库来说，是需要把数据存储到库、表、行、字段里，查询的时候根据条件一行一行地去匹配，当量非常大的时候就很耗费时间和资源，尤其是数据是需要从磁盘里去检索 • NoSQL数...
复制链接

扫一扫