Redis学习

Redis(linux) 
********************************************************************** 
Install: 
  Download Address: http://redis.io 
  解压以后到解压目录: 
  make 
  启动redis server: 
  redis-server 
  
  备注：make install的时候permission detied，使用sudo 
********************************************************************** 
Data Types: 
  key的限制: 
    1. 使用分离器构成key => cache:blog:custmor 
    2. 尽量短小 
    3. 兼可读性和常规长度 

  Strings: 
    任何string，甚至存储二进制数据，或者缓存图片，但是单个value不应该超过 512MB 
  Lists: 
    向链表头和尾增加element比较快，适合做队列 
  Hashes: 
    存储复杂对象，一个value中有几个field 
  Sets and Sorted Set: 
    Set不允许element重复.允许典型的操作，比如交集，合集.但是内存使用比list高 
    Sorted Set是set的一个特例，允许排序 
********************************************************************** 
Client: 
  1.命令行对数据进行操作: 
  连接远程服务器 
    redis-cli -h <serverip:eg:127.0.0.1> 
    redis-cli --version  //查看版本为2.2.11 
  非默认端口连接本地服务器 
    redis-cli -p 6380 
      本机测试，结果为not connected，如果改为默认的6379则可以登录 
  2.使用Ruby进行对数据进行操作 
    gem install redis    //安装redis-rb library，版本为2.2.2，注意不要装两个版本的redis，最新的为2.4.8，如果你已经安装了redis，就不要进行这步操作了 
      >require 'redis'   //测试 
      =>true   //good to go 
      >r = Redis.new     //建立一个新的连接 
      >r.set 'key','value' 
      >r.get 'key'       //=>value 
      >r.sadd 'key', 'value1' 
      >r.sadd 'key', 'value2' 
      >r.smember 'key'   //=>[value1,value2] 
  3.在RoR应用程序中，使用Redis存储读取数据 
    在Gemfile中，增加 gem 'redis' ，删除Gemfile.lock，重新bundle install 
    在/appname/config/initializers/下建立一个文件filename.rb并加入如下字段:$redis = Redis.new， 则在rails中产生了一个全局变量$redis连接数据库的对象,可以在rails console中调试 
    使用它的时候，在控制器中调用$redis就可以了 
********************************************************************** 
Leveraging Redis: 
  1.将Redis用作KEY/VALUE存储器 
    increment 
    storing in hash   //Redis official documentation for hash commands 
      hset/hget/hgetall/ 
      hmset hash-name key1 value1 key2 value2..  
      hget hash-name key 
      hdel hash-name key 
  
    storing in sets 
      sadd/smembers/sinter/sunion 
    inpecting data //检查数据: 
      keys * 
      type keyname 
      keys h*llo  //key with h as head and with llo as end 
      keys h?llo  //key with one charactor inside 
      keys h[ac]llo //key between hallo and hcllo 
      //keys命令会查询整个服务器，因此一般做法时把我们需要的的键列表加入到一个set，然后query它 

********************************************************************** 
Some Functions In Redis 

    1.Redis顶部实现OAuth:    //功能貌似无关 
______________________________________________________________________ 
    2.使用Redis的Pub/Sub功能创建一个聊天系统: 
      command line方式实现 : 
         一个终端启动redis-server 
         一个终端连接服务器,并作为消息订阅: psubscribe news.share  //选择单个通道接收，多个通道接收，可以定义为news.* 
         另一个终端连接服务器，并作为消息发布:publish news.share "share a link http://baidu.com" 
         在消息订阅端，就可以接收到redis server广播过来的消息 
______________________________________________________________________ 
    3.实现反向索引法的text查找 
______________________________________________________________________ 
    4.分析和时间的数据(作为大型数据库的缓存使用): 
      使用哈西表来存储计数器，使用hincrby来进行增长，通过hget和hmget来获取这些计数器,通过使用sort命令，来获取顶端的元素也是相当容易的: 
______________________________________________________________________ 
    5.实现工作队列 : 
      使用list实现任务队列  
______________________________________________________________________ 
    6.扩展Redis  (it won’t be included in Redis 2.4) 
      Redis脚本在2.4版本中不会包含 


********************************************************************* 
Redis 管理员和维护: 
  1.配置数据持久化 Configure Persistence 
      在redis.conf文件中，databases default=16 
        redis>select <dbid>   //选择不同数据库 
  持久化方式：snapshotting和append-only file 
     i) snapshotting: 
       save 900 1     //900秒后如果至少1个key变化，则保存到dump.rdb 
       save 300 10    //300秒后如果至少10个key变化 
       save 60 10000  //60秒后如果至少10000个key变化 
       //可以根据项目需求进行配置save为主线程功能，会造成主线程阻塞，bgsave命令在后台运行 
       client端也可以使用save命令，但是操作结果是内存中的数据全部写入db而不是增量写入，导致内存中有大量数据的时候，会严重影响性能. 
       注意：快照方式是在一定间隔时间做一次的，所以如果redis意外down掉的话，就会丢失最后一次快照后的所有修改.如果应用要求不能丢失任何修改的话，可以采用aof持久化方式. 
    ii)append-only file 
      该方式时每一个写命令都会通过write函数追加到文件中.在redis重启的时候，会将整个文件中的数据，重建到内存当中appendonly.aof. 
      appendonly yes              //启用aof持久化方式 
      # appendfsync always        //每次收到写命令就立即强制写入磁盘，最慢的，但是保证完全的持久化，不推荐使用 
      appendfsync everysec        //每秒钟强制写入磁盘一次，在性能和持久化方面做了很好的折中，推荐 
      # appendfsync no            //完全依赖os，性能最好,持久化没保证 

快照和appendonly比较： 
    快照为间歇性将内存数据写入磁盘，dump.rdb可以设置为1小时快照一次，作为数据库备份.如果快照给redis server的负担过大的话，那么考虑使用从站. 
    append only file将内存数据写入磁盘，redis重启后内存中重建数据库.如果有庞大的数据，并且这些数据不经常改变的话，那么考虑使用AOF. 

数据库的恢复: 
  默认保存的dump.rdb和appendonly.aof均可以作为数据库恢复的源，重新启动server的时候，自动根据conf文件中配置的地址，调用这些文件来恢复内存数据库. 

  2.开启一个Redis从站(Redis支持1主N从的方式) 
      简单来说就是使用不同配置文件启动两个服务 
      主server的conf文件中配置: 
      slaveof <masterip:eg:127.0.0.1> <slaveport:6379> 
  3.处理大于物理内存的数据集: 
     Redis VM  //弃用 
  4.Redis的升级  
    方案from 《Redis Cookbook》 
     1)不重启现有服务的情况下，安装新的Redis版本 
     2)创建新的redis.conf文件，指定redis在6380端口运行(因为默认主server在6379启动)和一个不同的DB路径 
     3)开启新的服务 
     4)连接到新服务，并且输入如下命令: 
         SLAVEOF localhost 6379   //同步数据,使用INFO命令查看6380的连接状态，如果master_link_status:up，则复制时有效的 
     5)目前位置新的服务已经升级完成，你可以开始将客户端移动到新的服务.你可以通过INFO命令检查连接到一个服务的客户端数量，检查connected_clients 
     6)当所有的客户端都连接到了从服务，你仍然有两个任务需要完成:disable复制并且关闭主服务: 
       6-1)连接到从服务，输入如下命令: SLAVEOF NO ONE 
       6-2)连接到旧的主服务，输入如下命令: SHUTDOWN   //如果出现如下错误:(error) ERR Errors trying to SHUTDOWN. Check logs.则可能是权限问题，因为在shutdown命令的时候，会进行save操作，而save需要操作dump.rdb文件，如果没有权限则会报这个错. 


     6-3)你的新Redis系统上线运行了，但是要确认你所有的配置，初始脚本，备份等，均要只想正确的位置并开启正确的服务.忘记那些常规的操作很容易，但是你应该至少确认万一服务重启的时候不会出问题. 
//以上操作结束后，通过INFO命令查看，从服务已经切换位主服务，并且是升级以后的版本. 
    

关于配置文件的另一些有用的设置: 
  最大可使用内存 
  最大可连接客户端数 

*********************************************************** 
Redis 命令总结 
连接操作相关的命令 

Ÿ   quit：关闭连接（connection） 

Ÿ   auth：简单密码认证 
对value操作的命令 

Ÿ   exists(key)：确认一个key是否存在 

Ÿ   del(key)：删除一个key 

Ÿ   type(key)：返回值的类型 

Ÿ   keys(pattern)：返回满足给定pattern的所有key 

Ÿ   randomkey：随机返回key空间的一个key 

Ÿ   rename(oldname, newname)：将key由oldname重命名为newname，若newname存在则删除newname表示的key 

Ÿ   dbsize：返回当前数据库中key的数目 

Ÿ   expire：设定一个key的活动时间（s） 

Ÿ   ttl：获得一个key的活动时间 

Ÿ   select(index)：按索引查询 

Ÿ   move(key, dbindex)：将当前数据库中的key转移到有dbindex索引的数据库 

Ÿ   flushdb：删除当前选择数据库中的所有key 

Ÿ   flushall：删除所有数据库中的所有key 
对String操作的命令 

Ÿ   set(key, value)：给数据库中名称为key的string赋予值value 

Ÿ   get(key)：返回数据库中名称为key的string的value 

Ÿ   getset(key, value)：给名称为key的string赋予上一次的value 

Ÿ   mget(key1, key2,…, key N)：返回库中多个string（它们的名称为key1，key2…）的value 

Ÿ   setnx(key, value)：如果不存在名称为key的string，则向库中添加string，名称为key，值为value 

Ÿ   setex(key, time, value)：向库中添加string（名称为key，值为value）同时，设定过期时间time 

Ÿ   mset(key1, value1, key2, value2,…key N, value N)：同时给多个string赋值，名称为key i的string赋值value i 

Ÿ   msetnx(key1, value1, key2, value2,…key N, value N)：如果所有名称为key i的string都不存在，则向库中添加string，名称key i赋值为value i 

Ÿ   incr(key)：名称为key的string增1操作 

Ÿ   incrby(key, integer)：名称为key的string增加integer 

Ÿ   decr(key)：名称为key的string减1操作 

Ÿ   decrby(key, integer)：名称为key的string减少integer 

Ÿ   append(key, value)：名称为key的string的值附加value 

Ÿ   substr(key, start, end)：返回名称为key的string的value的子串 
对List操作的命令 

Ÿ   rpush(key, value)：在名称为key的list尾添加一个值为value的元素 

Ÿ   lpush(key, value)：在名称为key的list头添加一个值为value的 元素 

Ÿ   llen(key)：返回名称为key的list的长度 

Ÿ   lrange(key, start, end)：返回名称为key的list中start至end之间的元素（下标从0开始，下同） 

Ÿ   ltrim(key, start, end)：截取名称为key的list，保留start至end之间的元素 

Ÿ   lindex(key, index)：返回名称为key的list中index位置的元素 

Ÿ   lset(key, index, value)：给名称为key的list中index位置的元素赋值为value 

Ÿ   lrem(key, count, value)：删除count个名称为key的list中值为value的元素。count为0，删除所有值为value的元素，count>0从头至尾删除count个值为value的元素，count<0从尾到头删除|count|个值为value的元素。 

Ÿ   lpop(key)：返回并删除名称为key的list中的首元素 

Ÿ   rpop(key)：返回并删除名称为key的list中的尾元素 

Ÿ   blpop(key1, key2,… key N, timeout)：lpop命令的block版本。即当timeout为0时，若遇到名称为key i的list不存在或该list为空，则命令结束。如果timeout>0，则遇到上述情况时，等待timeout秒，如果问题没有解决，则对key i+1开始的list执行pop操作。 

Ÿ   brpop(key1, key2,… key N, timeout)：rpop的block版本。参考上一命令。 

Ÿ   rpoplpush(srckey, dstkey)：返回并删除名称为srckey的list的尾元素，并将该元素添加到名称为dstkey的list的头部 
对Set操作的命令 

Ÿ   sadd(key, member)：向名称为key的set中添加元素member 

Ÿ   srem(key, member) ：删除名称为key的set中的元素member 

Ÿ   spop(key) ：随机返回并删除名称为key的set中一个元素 

Ÿ   smove(srckey, dstkey, member) ：将member元素从名称为srckey的集合移到名称为dstkey的集合 

Ÿ   scard(key) ：返回名称为key的set的基数 

Ÿ   sismember(key, member) ：测试member是否是名称为key的set的元素 

Ÿ   sinter(key1, key2,…key N) ：求交集 

Ÿ   sinterstore(dstkey, key1, key2,…key N) ：求交集并将交集保存到dstkey的集合 

Ÿ   sunion(key1, key2,…key N) ：求并集 

Ÿ   sunionstore(dstkey, key1, key2,…key N) ：求并集并将并集保存到dstkey的集合 

Ÿ   sdiff(key1, key2,…key N) ：求差集 

Ÿ   sdiffstore(dstkey, key1, key2,…key N) ：求差集并将差集保存到dstkey的集合 

Ÿ   smembers(key) ：返回名称为key的set的所有元素 

Ÿ   srandmember(key) ：随机返回名称为key的set的一个元素 
对zset（sorted set）操作的命令 

Ÿ   zadd(key, score, member)：向名称为key的zset中添加元素member，score用于排序。如果该元素已经存在，则根据score更新该元素的顺序。 

Ÿ   zrem(key, member) ：删除名称为key的zset中的元素member 

Ÿ   zincrby(key, increment, member) ：如果在名称为key的zset中已经存在元素member，则该元素的score增加increment；否则向集合中添加该元素，其score的值为increment 

Ÿ   zrank(key, member) ：返回名称为key的zset（元素已按score从小到大排序）中member元素的rank（即index，从0开始），若没有member元素，返回“nil” 

Ÿ   zrevrank(key, member) ：返回名称为key的zset（元素已按score从大到小排序）中member元素的rank（即index，从0开始），若没有member元素，返回“nil” 

Ÿ   zrange(key, start, end)：返回名称为key的zset（元素已按score从小到大排序）中的index从start到end的所有元素 

Ÿ   zrevrange(key, start, end)：返回名称为key的zset（元素已按score从大到小排序）中的index从start到end的所有元素 

Ÿ   zrangebyscore(key, min, max)：返回名称为key的zset中score >= min且score <= max的所有元素 

Ÿ   zcard(key)：返回名称为key的zset的基数 

Ÿ   zscore(key, element)：返回名称为key的zset中元素element的score 

Ÿ   zremrangebyrank(key, min, max)：删除名称为key的zset中rank >= min且rank <= max的所有元素 

Ÿ   zremrangebyscore(key, min, max) ：删除名称为key的zset中score >= min且score <= max的所有元素 

Ÿ   zunionstore / zinterstore(dstkeyN, key1,…,keyN, WEIGHTS w1,…wN, AGGREGATE SUM|MIN|MAX)：对N个zset求并集和交集，并将最后的集合保存在dstkeyN中。对于集合中每一个元素的score，在进行AGGREGATE运算前，都要乘以对于的WEIGHT参数。如果没有提供WEIGHT，默认为1。默认的AGGREGATE是SUM，即结果集合中元素的score是所有集合对应元素进行SUM运算的值，而MIN和MAX是指，结果集合中元素的score是所有集合对应元素中最小值和最大值。 
对Hash操作的命令 

Ÿ   hset(key, field, value)：向名称为key的hash中添加元素field<—>value 

Ÿ   hget(key, field)：返回名称为key的hash中field对应的value 

Ÿ   hmget(key, field1, …,field N)：返回名称为key的hash中field i对应的value 

Ÿ   hmset(key, field1, value1,…,field N, value N)：向名称为key的hash中添加元素field i<—>value i 

Ÿ   hincrby(key, field, integer)：将名称为key的hash中field的value增加integer 

Ÿ   hexists(key, field)：名称为key的hash中是否存在键为field的域 

Ÿ   hdel(key, field)：删除名称为key的hash中键为field的域 

Ÿ   hlen(key)：返回名称为key的hash中元素个数 

Ÿ   hkeys(key)：返回名称为key的hash中所有键 

Ÿ   hvals(key)：返回名称为key的hash中所有键对应的value 

Ÿ   hgetall(key)：返回名称为key的hash中所有的键（field）及其对应的value 
持久化 

Ÿ   save：将数据同步保存到磁盘 

Ÿ   bgsave：将数据异步保存到磁盘 

Ÿ   lastsave：返回上次成功将数据保存到磁盘的Unix时戳 

Ÿ   shundown：将数据同步保存到磁盘，然后关闭服务 
远程服务控制 

Ÿ   info：提供服务器的信息和统计 

Ÿ   monitor：实时转储收到的请求 

Ÿ   slaveof：改变复制策略设置 

Ÿ   config：在运行时配置Redis服务器