redispython源文件_Python并发编程-redis-3.0.5 源码安装-CSDN博客

1、简介

Remote Dictionary Server（Redis）是一个基于 key-value 键值对的持久化数据库存储系统。redis 和 Memcached 缓存服务很像，但它支持存储的 value 类型相对更多，包括 string (字符串)、list (链表)、set (集合)、zset (sorted set --有序集合)和 hash（哈希类型）。这些数据类型都支持 push/pop、add/remove 及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。在此基础上，redis 支持各种不同方式的排序。与 memcached 一样，为了保证效率，数据都是缓存在内存中。区别的是 redis 会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件，并且在此基础上实现了 master-slave (主从)同步。

redis 的出现，再一定程度上弥补了 Memcached 这类 key-value 内存换乘服务的不足，在部分场合可以对关系数据库起到很好的补充作用。redis 提供了 Python，Ruby，Erlang，PHP 客户端，使用方便。

2、Redis 安装和使用实例

1、源码安装

1 #源码安装

2 wget http://download.redis.io/releases/redis-3.0.5.tar.gz3 tar zxf redis-3.0.5.tar.gz4 cd redis-3.0.5

5 #less README

6 make MALLOC=jemalloc7 make PREFIX=/application/redis-3.0.5 install -->指定安装路径8 echo $?9 ln -s /application/redis-3.0.5/ /application/redis

2、redis 安装目录及各文件作用

1 [root@localhost redis-3.0.5]#tree /application/redis

2 /application/redis3 `--bin4 |-- redis-benchmark #Redis性能测试工具，测试Redis在系统及你的配置下的读写性能。

5 |-- redis-check-aof #更新日志检查。

6 |-- redis-check-dump #用于本地数据库检查。

7 |-- redis-cli #Redis命令行操作工具。也可以telnet根据其纯文本协议操作

8 |-- redis-sentinel -> redis-server9 `-- redis-server #Redis服务器的daemon启动程序。

10 directory, 6 files

3、配置并启动 redis 服务

1 #1、配置环境变量

2 #编辑vim /etc/profile添加一行

3 vim /etc/profile4 export PATH=/application/redis/bin/:$PATH5 tail -1 /etc/profile -->检查6 source /etc/profile -->生效7 或

8 echo export PATH=/application/redis/bin/:$PATH >> /etc/profile9 tail -1 /etc/profile10 source /etc/profile11

13 #2、拷贝配置文件

14 [root@localhost redis-3.0.5]#pwd

15 /home/oldSuo/tools/redis-3.0.5 -->解压目录16 [root@localhost redis-3.0.5]#mkdir /application/redis/conf

17 [root@localhost redis-3.0.5]#cp redis.conf /application/redis/conf/

19 cd /home/oldSuo/tools/redis-3.0.5

20 mkdir /application/redis/conf21 cp redis.conf /application/redis/conf/

24 #3、启动redis

25 redis-server /application/redis/conf/redis.conf &

26 lsof -i :6379

28 [root@localhost redis-3.0.5]#lsof -i :6379

29 COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME30 redis-ser 5876 root 4u IPv6 793678202 0t0 TCP *:6379(LISTEN)31 redis-ser 5876 root 5u IPv4 793678204 0t0 TCP *:6379(LISTEN)32

34 #4、关闭redis

35 redis-cli shutdown36 lsof -i :6379 -->检查端口37

39 #5、启动常见报错

40 报错：WARNING overcommit_memory is set to 0! Background save may fail under low memory condition. To fix this issue add 'vm.overcommit_memory = 1' to /etc/sysctl.conf and then reboot or run the command 'sysctl vm.overcommit_memory=1' forthis to take effect.41 解决： [root@localhost redis-3.0.5]#killall redis-server

42 [root@localhost redis-3.0.5]#sysctl vm.overcommit_memory=1

43 vm.overcommit_memory = 1

44 永久生效：[root@localhost conf]#vim /etc/sysctl.conf

45 添加一行vm.overcommit_memory = 1

4、客户端连接命令及命令测试

1 [root@localhost conf]#redis-cli --help

2 [root@localhost conf]#redis-cli -h 192.168.200.95

4 [root@localhost conf]#redis-cli

5 127.0.0.1:6379>help6 redis-cli 3.0.5

7 Type: "help @" to get a list of commands in

8 "help " for help on

9 "help "to get a list of possible help topics10 "quit"to exit11 127.0.0.1:6379>help get12

13 GET key14 summary: Get the value of a key15 since: 1.0.016 group: string17

18 127.0.0.1:6379>help set19

20 SET key value [EX seconds] [PX milliseconds] [NX|XX]21 summary: Set the string value of a key22 since: 1.0.023 group: string24

25 127.0.0.1:6379> set 007oldSuo26 OK27 127.0.0.1:6379> get 007

28 "oldSuo"

29 127.0.0.1:6379>

31 或者32 [root@localhost conf]#redis-cli -h 192.168.200.95 -p 6379 set no005 suoning

33 OK34 [root@localhost conf]#redis-cli -h 192.168.200.95 -p 6379 get no005

35 "suoning"

37 删除并检查38 [root@localhost conf]#redis-cli del no005

39 (integer) 1

40 [root@localhost conf]#redis-cli get no005

41 (nil)

5、redis 的 php 客户端拓展安装

1 #1、下载安装

2 wget https://github.com/phpredis/phpredis/archive/master.zip3

4 unzip phpredis-master.zip5 cd phpredis-master6 /application/php/bin/phpize7 ./configure --with-php-config=/application/php/bin/php-config8 make9 make install10

11 [root@localhost phpredis-master]#make install

12 Installing shared extensions: /application/php-5.6.8/lib/php/extensions/no-debug-non-zts-20131226/

13 [root@localhost phpredis-master]#cd /application/php-5.6.8/lib/php/extensions/no-debug-non-zts-20131226/

14 [root@localhost no-debug-non-zts-20131226]#ls

15 memcache.so opcache.a opcache.so redis.so16 [root@localhost no-debug-non-zts-20131226]#17

19 #2、修改php.ini设置，重启php

20 在php.ini追加一条记录21 echo "extension = redis.so" >> /application/php/lib/php.ini22

23 #重启 php-fpm

24 killall php-fpm25 /application/php/sbin/php-fpm26

27 #网页测试

28 ......

6、redis 主从同步

1 #1、修改从库redis.conf配置文件

2 #配置从库redis.conf配置文件(先装redis)

3 #添加一行，主库IP地址及端口

4 vim /application/redis/conf/redis.conf5 #slaveof

6 slaveof 192.168.200.95 6379

9 #2、重启从库redis服务

10 pkill redis11 redis-server /application/redis/conf/redis.conf &

13 #启动提示

14 7815:S 23 Nov 19:48:52.059 #Server started, Redis version 3.0.5

15 7815:S 23 Nov 19:48:52.060 * The server is now ready to accept connections on port 6379

16 7815:S 23 Nov 19:48:53.060 * Connecting to MASTER 192.168.200.95:6379 -->跟主库建立连接17 7815:S 23 Nov 19:48:53.060 * MASTER <-> SLAVE sync started -->主从同步已经开始18 7815:S 23 Nov 19:48:53.062 * Non blocking connect forSYNC fired the event.19 7815:S 23 Nov 19:48:53.074 * Master replied to PING, replication can continue... -->主从ping可以继续20 7815:S 23 Nov 19:48:53.075 * Partial resynchronization notpossible (no cached master)21 7815:S 23 Nov 19:48:53.087 * Full resync from master: 24b26f7abc62830a7ff97516c960ba7fc0992da9:1

22 7815:S 23 Nov 19:48:53.122 * MASTER <-> SLAVE sync: receiving 32 bytes from master -->接收到字节数23 7815:S 23 Nov 19:48:53.122 * MASTER <->SLAVE sync: Flushing old data24 7815:S 23 Nov 19:48:53.122 * MASTER <-> SLAVE sync: Loading DB inmemory25 7815:S 23 Nov 19:48:53.122 * MASTER <-> SLAVE sync: Finished with success -->成功26

28 #3、测试主从同步

29 #主库：写数据

30 [root@localhost redis]#redis-cli

31 127.0.0.1:6379>set test1 oldsuo32 OK33

34 #从库：

35 [root@localhost conf]#redis-cli -h localhost -p 6379 monitor -->开启实时监控

36 OK37 1448280033.096372 [0 192.168.200.95:6379] "PING"

38 1448280043.125830 [0 192.168.200.95:6379] "PING"

39 1448280053.154134 [0 192.168.200.95:6379] "PING"

40 1448280070.858808 [0 192.168.200.95:6379] "SELECT" "0"

41 1448280070.858828 [0 192.168.200.95:6379] "set" "test1" "oldsuo" -->主库添加数据，从库同步42

43 [root@localhost redis]#redis-cli -h 192.168.200.92 get test1

44 "oldsuo" -->从库同步成功

7、redis 负载均衡

1 至于 redis 的负载均衡，方案有很多：2 LVS、keepalived、Twemproxy3 小编有时间再补上吧...

8、redis 持久化

1 Redis持久化方式有两种：2

3 （1）RDB4

5 对内存中数据库状态进行快照6

7 （2）AOF8

9 把每条写命令都写入文件，类似mysql的binlog日志10

11 RDB12

13 将Redis在内存中的数据库状态保存到磁盘里面，RDB文件是一个经过压缩的二进制文件，通过该文件可以还原生成RDB文件时的数据库状态14

15 RDB的生成方式：16

17 （1）执行命令手动生成18

19 有两个Redis命令可以用于生成RDB文件，一个是SAVE，另一个是BGSAVE20

21 SAVE命令会阻塞Redis服务器进程，直到RDB文件创建完毕为止，在服务器进程阻塞期间，服务器不能处理任何命令请求22

23 BGSAVE命令会派生出一个子进程，然后由子进程负责创建RDB文件，服务器进程（父进程）继续处理命令请求，创建RDB文件结束之前，客户端发送的BGSAVE和SAVE命令会被服务器拒绝24

25 （2）通过配置自动生成26

27 可以设置服务器配置的save选项，让服务器每隔一段时间自动执行一次BGSAVE命令28

29 可以通过save选项设置多个保存条件，但只要其中任意一个条件被满足，服务器就会执行BGSAVE命令30

31 例如：32

33 save 900 1

34 save 300 10

35 save 60 10000

37 那么只要满足以下三个条件中的任意一个，BGSAVE命令就会被执行38

39 服务器在900秒之内，对数据库进行了至少1次修改40 服务器在300秒之内，对数据库进行了至少10次修改41 服务器在60秒之内，对数据库进行了至少10000次修改42

43 AOF44

45 AOF持久化是通过保存Redis服务器所执行的写命令来记录数据库状态的46

47 AOF文件刷新的方式，有三种48

49 （1）appendfsync always -每提交一个修改命令都调用fsync刷新到AOF文件，非常非常慢，但也非常安全50

51 （2）appendfsync everysec -每秒钟都调用fsync刷新到AOF文件，很快，但可能会丢失一秒以内的数据52

53 （3）appendfsync no -依靠OS进行刷新，redis不主动刷新AOF，这样最快，但安全性就差54

55 默认并推荐每秒刷新，这样在速度和安全上都做到了兼顾56

57 数据恢复58

59 RDB方式60

61 RDB文件的载入工作是在服务器启动时自动执行的，没有专门用于载入RDB文件的命令，只要Redis服务器在启动时检测到RDB文件存在，它就会自动载入RDB文件，服务器在载入RDB文件期间，会一直处于阻塞状态，直到载入工作完成为止62

63 AOF方式64

65 服务器在启动时，通过载入和执行AOF文件中保存的命令来还原服务器关闭之前的数据库状态，具体过程：66

67 （1）载入AOF文件68

69 （2）创建模拟客户端70

71 （3）从AOF文件中读取一条命令72

73 （4）使用模拟客户端执行命令74

75 （5）循环读取并执行命令，直到全部完成76

77 如果同时启用了RDB和AOF方式，AOF优先，启动时只加载AOF文件恢复数据

二、Python 操作 Redis

python 安装 redis 模块：

1 $ sudo pip install redis2 or

3 $ sudo easy_install redis4 or

5 $ sudo python setup.py install6

7 详见：https://github.com/WoLpH/redis-py8 https://pypi.python.org/pypi/redis9 https://redislabs.com/python-redis