Redis详解与常见问题解决方案

原创 2016年04月11日 09:49:36

Redis简介

 

redis是一个key-value存储系统。和Memcached类似,它支持存储的value类型相对更多,包括string(字符串)、list(链表)、set(集合)、zset(sortedset --有序集合)和hash(哈希类型)。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作,而且这些操作都是原子性的。在此基础上,redis支持各种不同方式的排序。与memcached一样,为了保证效率,数据都是缓存在内存中。区别的是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件,并且在此基础上实现了master-slave(主从)同步。

 

安装:

安装Redis

官方网站:http://redis.io/

官方下载:http://redis.io/download 可以根据需要下载不同版本

windows版:https://github.com/ServiceStack/redis-windows

 

下载安装包:

 

解压启动Redis

 

解压redis64-2.8.17版本后,找到redis.windows.conf,修改配置文件内容,内容如下。

 

支持数据结构

redis提供五种数据类型:String,hash,list,set及zset(sortedset)。

 

Redis配置文件主要参数配置

1、指定Redis监听端口,默认端口为6379。

port 6379

2、绑定的主机地址

bind 127.0.0.1

3、当客户端闲置多长时间后关闭连接,如果指定为0,表示关闭该功能

timeout 300

4、指定日志记录级别,Redis总共支持四个级别:debug、verbose、notice、warning,默认为verbose。

loglevel verbose

5、日志记录方式,默认为标准输出,如果配置Redis为守护进程方式运行,而这里又配置为日志记录方式为标准输出,则日志将会发送给/dev/null。

logfile stdout

6、设置数据库的数量,默认数据库为0,可以使用SELECT <dbid>命令在连接上指定数据库id。

databases 16

7、指定在多长时间内,有多少次更新操作,就将数据同步到数据文件,可以多个条件配合。

save <seconds><changes>

8、Redis默认配置文件中提供了三个条件:

save 900 1

save 300 10

save 60 10000

分别表示900秒(15分钟)内有1个更改,300秒(5分钟)内有10个更改以及60秒内有10000个更改。

9、指定存储至本地数据库时是否压缩数据,默认为yes,Redis采用LZF压缩,如果为了节省CPU时间,可以关闭该选项,但会导致数据库文件变的巨大。

rdbcompression yes

10、指定本地数据库文件名,默认值为dump.rdb。

dbfilename dump.rdb

11、 指定本地数据库存放目录。

dir ./

12、设置当本机为slave服务时,设置master服务的IP地址及端口,在Redis启动时,它会自动从master进行数据同步。

slaveof <masterip><masterport>

13、当master服务设置了密码保护时,slave服务连接master的密码。

masterauth <master-password>

14、设置Redis连接密码,如果配置了连接密码,客户端在连接Redis时需要通过AUTH <password>命令提供密码,默认关闭。

requirepass foobared

15、设置同一时间最大客户端连接数,默认无限制,Redis可以同时打开的客户端连接数为Redis进程可以打开的最大文件描述符数,如果设置 maxclients 0,表示不作限制。当客户端连接数到达限制时,Redis会关闭新的连接并向客户端返回max number of clientsreached错误信息。

maxclients 128

16、指定Redis最大内存限制,Redis在启动时会把数据加载到内存中,达到最大内存后,Redis会先尝试清除已到期或即将到期的Key,当此方法处理 后,仍然到达最大内存设置,将无法再进行写入操作,但仍然可以进行读取操作。Redis新的vm机制,会把Key存放内存,Value会存放在swap区。

maxmemory <bytes>

17、指定是否在每次更新操作后进行日志记录,Redis在默认情况下是异步的把数据写入磁盘,如果不开启,可能会在断电时导致一段时间内的数据丢失。因为 redis本身同步数据文件是按上面save条件来同步的,所以有的数据会在一段时间内只存在于内存中。默认为no。

appendonly no

18、指定更新日志文件名,默认为appendonly.aof

appendfilename appendonly.aof

19、指定更新日志条件,共有3个可选值:
no:表示等操作系统进行数据缓存同步到磁盘(快)
always:表示每次更新操作后手动调用fsync()将数据写到磁盘(慢,安全)
everysec:表示每秒同步一次(折衷,默认值)

appendfsync everysec

20、 设置在向客户端应答时,是否把较小的包合并为一个包发送,默认为开启

glueoutputbuf yes

21、指定在超过一定的数量或者最大的元素超过某一临界值时,采用一种特殊的哈希算法。

hash-max-zipmap-entries 64

hash-max-zipmap-value 512

22、指定是否激活重置哈希,默认为开启(后面在介绍Redis的哈希算法时具体介绍)。

activerehashing yes

23、slave根据指定的时间间隔向服务器发送ping请求。时间间隔可以通过 repl_ping_slave_period 来设置。默认10秒

repl-ping-slave-period10

24、当一个slave失去和master的连接,或者同步正在进行中,slave的行为有两种可能:

(1) 如果 slave-serve-stale-data 设置为 "yes" (默认值),slave会继续响应客户端请求,可能是正常数据,也可能是还没获得值的空数据。

(2) 如果 slave-serve-stale-data 设置为 "no",slave会回复"正在从master同步(SYNCwith master in progress)"来处理各种请求,除了 INFO 和 SLAVEOF 命令。

slave-serve-stale-datayes

25、Redis主从配置

redis支持master-slave的主从配置,配置方法是在从机的配置文件中指定slaveof参数为主机的ip和port即可。

slaveof 192.168.1.23 6379

26、 指定包含其它的配置文件,可以在同一主机上多个Redis实例之间使用同一份配置文件,而同时各个实例又拥有自己的特定配置文件。

 include /path/to/local.conf

 include /path/to/other.conf

 

Redis中常见异常处理以及内存CPU优化

 

Redis常出现问题总结:

1、当出现修改--maxheap and --heapdir

在启动这两个版本时都会创建一个 RedisQFork.dat文件,我不确定 RedisQFork 文件是否变小一点, 但我确定, 你可以通过设置Redis启动参数 heapdir 来调整这个文件的位置。

我在 redis.windows.conf文件中搜索"heapdir",然后在默认注释掉的内容下面添加一行,指定Redis内存映射文件(memory mapped file)存放的路径:

2、redis常见异常处理

1

2

3

# heapdir指定内存映射文件路径名,不能是文件名

# heapdir <directory path(absoluteorrelative)>

heapdir D:/temp/redis_heapdir/

 

具体文件和目录就请你根据自己的磁盘进行指定啦. 我的症状和情况是这样的, 16GB内存,Windows版64bit的Redis,启动Redis后就在C盘的C:\Windows\ServiceProfiles\NetworkService\AppData\Local\Redis目录下面生成一个16GB大小的 RedisQFork_8792.dat 文件(8792是本次启动的进程PID, 关闭redis 则此文件自动被删除). 本来当初为了省钱只上了64GB的固态硬盘,结果16G一吃下来,C盘就只有16GB空余空间,自从设置到D盘,重启以后,感觉强迫症就好多了。

 

3、常见异常处理

如果你遇到 java.net.SocketTimeoutException: Readtimed out exception的异常信息

请尝试在构造JedisPool的时候设置自己的超时值. JedisPool默认的超时时间是2秒(单位毫秒)

pool = new JedisPool(config, ip,port,RedisConfig.getTimeout());

 

 

4、Redis中CPU使用效率优化

 

将no-appendfsync-on-rewrite的配置设为yes可以缓解这个问题,设置为yes表示rewrite期间对新写操作不fsync,暂时存在内存中,等rewrite完成后再写入。

最好是不开启Master的AOF备份功能。

Redis也可以关闭自动持久化,注释掉这些save配置,或者save “”

如果后台保存到磁盘发生错误,将停止写操作。

stop-writes-on-bgsave-error yes。

使用LZF压缩rdb文件,这会耗CPU, 但是可以减少磁盘占用。

rdbcompression yes

保存rdb和加载rdb文件的时候检验,可以防止错误,但是要付出约10%的性能,可以关闭他,提高性能。

rdbchecksum yes

5、当出现以下错误时:

VirtualAlloc/COWAlloc fail! Out Of Memory allocating 42bytes!

 

修改:maxmemory 1024000000

maxheap 1024000000

Redis客户端常用命令

 

get key

set  key value

clear

exists  key

del key

dbsize

lpush  key value

info all

info

monitor

hgetall  key

 

redis 127.0.0.1:6379> info  #查看server版本内存使用连接等信息

 

redis 127.0.0.1:6379> client list  #获取客户连接列表

 

redis 127.0.0.1:6379> client kill 127.0.0.1:33441 #终止某个客户端连接

 

redis 127.0.0.1:6379> dbsize #当前保存key的数量

 

redis 127.0.0.1:6379> save #立即保存数据到硬盘

 

redis 127.0.0.1:6379> bgsave #异步保存数据到硬盘

 

redis 127.0.0.1:6379> flushdb #当前库中移除所有key

 

redis 127.0.0.1:6379> flushall #移除所有key从所有库中

 

redis 127.0.0.1:6379> lastsave #获取上次成功保存到硬盘的时间戳

 

redis 127.0.0.1:6379> monitor #实时监测服务器接收到的请求

 

redis 127.0.0.1:6379> slowlog len #查询慢查询日志条数

 

redis 127.0.0.1:6379> slowlog get #返回所有的慢查询日志,最大值取决于slowlog-max-len配置

 

redis 127.0.0.1:6379> slowlog get 2 #打印两条慢查询日志

 

redis 127.0.0.1:6379> slowlog reset #清空慢查询日志信息


版权声明:本文为博主原创文章,未经博主允许不得转载。

使用redis解决一些并发访问的问题

如何使用redis来防止并发抢购的问题呢?

Redis问题汇总

经常会碰到一些问题,现汇总起来,方便后继查看问题一.为节点指定Master时报如下错误longwentaodeMacBook-Pro:src longwentao$ ./redis-cli -p 90...

使用redis缓存数据需要注意的问题以及个人的一些思考和理解

阅读目录 一般的redis逻辑redis缓存会出现什么问题?redis适合缓存怎么样的数据?redis集群 之前我有博客也尝试过使用redis,在实际的项目中确实作用挺大的。至少对于数...

针对多个Redis key使用事务方式同步修改时引发的问题

前几天投产碰到一个问题: 多个Redis 键值在一个事务内一并提交发生异常的问题。 1.问题描述    为实现令牌桶(Token Bucket)流控算法,引入了两个Redis键值,由于这两个键值需要同...

Redis百亿级Key存储方案

1 需求背景 该应用场景为DMP缓存存储需求,DMP需要管理非常多的第三方id数据,其中包括各媒体cookie与自身cookie(以下统称supperid)的mapping关系,还包括了supper...

Redis中keys命令的使用与带来的性能问题

(一)keys命令的使用 进入redis-cli之后,我们通常比较关心的是有哪些key(ps:当然也可以用其他客户端工具),那么就不得不说keys命令 keys pattern 获取当前库下的所...

教你怎么解决64位Windows版Redis狂占C盘的问题.

可靠的Windows版Redis,教你怎么解决64位Windows版Redis狂占C盘的问题.

Redis 学习笔记九 常见问题处理

MISCONF Redis is configured to save RDB snapshots, but is currently not able to persist on disk. Com...
  • xundh
  • xundh
  • 2015年09月21日 15:27
  • 975

Redis设置日志目录及loglevel

在redis.conf中添加配置: loglevel notice#日志等级 logfile "/usr/redis/log/redis.log"#日志保存路径...
  • xuxile
  • xuxile
  • 2016年08月16日 09:51
  • 25924

Redis配置文件详解

redis是一款开源的、高性能的键-值存储(key-value store),和memcached类似,redis常被称作是一款key-value内存存储系统或者内存数据库,同时由于它支持丰富的数据结...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Redis详解与常见问题解决方案
举报原因:
原因补充:

(最多只允许输入30个字)