一、Redis
简介
1、关于Redis
Redis
是完全开源免费的,遵守BSD
协议,是一个高性能(NOSQL
)的key-value
数据库,Redis
是一个开源的使用ANSI
C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value
数据库,并提供多种语言的API
。从2010
年3
月15
日起,Redis
的开发工作由VMware
主持。从2013
年5
月开始,Redis
的开发由Pivotal
赞助。(Vmware
在资助着redis
项目的开发和维护)
BSD是"Berkeley Software Distribution
“的缩写,意思是"伯克利软件发行版”。
BSD
开源协议是一个给于使用者很大自由的协议。可以自由的使用,修改源代码,也可以将修改后的代码作为开源或者专有软件再发布。BSD
代码鼓励代码共享,但需要尊重代码作者的著作权。BSD
由于允许使用者修改和重新发布代码,也允许使用或在BSD
代码上开发商业软件发布和销售,因此是对商业集成很友好的协议。
redis
的作者,他叫Salvatore Sanfilippo
,来自意大利的西西里岛,现在居住在卡塔尼亚。目前供职于Pivotal
公司。
地址是antirez.com
,当然也可以去follow
他的github
,地址是http://github.com/antirez。
2、关于NoSQL
NoSQL
,泛指非关系型的数据库。随着互联网web2.0网站的兴起,传统的关系数据库在应付web2.0
网站,特别是超大规模和高并发的SNS类型的web2.0
纯动态网站已经显得力不从心,暴露了很多难以克服的问题,而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。NoSQL
数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战,尤其是大数据应用难题。
NoSQL
数据库的四大分类:
-
键值[Key-Value]存储数据库
这一类数据库主要会使用到一个哈希表,这个表中有一个特定的键和一个指针指向特定的数据。Key/value
模型对于IT
系统来说的优势在于简单、易部署。但是如果DBA只对部分值进行查询或更新的时候,Key/value
就显得效率低下了。[3] 举例如:Tokyo Cabinet/Tyrant
,Redis
,Voldemort
,Oracle BDB
. -
列存储数据库
这部分数据库通常是用来应对分布式存储的海量数据。键仍然存在,但是它们的特点是指向了多个列。这些列是由列家族来安排的。如:Cassandra
,HBase,
Riak`. -
文档型数据库
文档型数据库的灵感是来自于Lotus Notes
办公软件的,而且它同第一种键值存储相类似。该类型的数据模型是版本化的文档,半结构化的文档以特定的格式存储,比如JSON
。文档型数据库可 以看作是键值数据库的升级版,允许之间嵌套键值。而且文档型数据库比键值数据库的查询效率更高。如:CouchDB
,MongoDb
. 国内也有文档型数据库SequoiaDB
,已经开源。 -
图形(
Graph
)数据库
图形结构的数据库同其他行列以及刚性结构的SQL
数据库不同,它是使用灵活的图形模型,并且能够扩展到多个服务器上。NoSQL
数据库没有标准的查询语言(SQL
),因此进行数据库查询需要制定数据模型。许多NoSQL
数据库都有REST
式的数据接口或者查询API
。[2] 如:Neo4J
,InfoGrid
,Infinite Graph
.
因此,我们总结NoSQL
数据库在以下的这几种情况下比较适用:①数据模型比较简单;②需要灵活性更强的IT系统;③对数据库性能要求较高;④不需要高度的数据一致性;⑤对于给定key
,比较容易映射复杂值的环境。
Redis
与其他 key - value
缓存产品有以下三个特点:
-
Redis
支持数据的持久化,可以将内存中的数据保存在磁盘中,重启的时候可以再次加载进行使用。 -
Redis
不仅仅支持简单的key-value
类型的数据,同时还提供list
,set
,zset
,hash
等数据结构的存储。 -
Redis
支持数据的备份,集群等高可用功能。
二、Redis
安装
1、window安装
2、Linux
安装
安装Redis
官方下载,可以根据需要下载不同版本
(域名后缀io
属于国家域名,是british Indian Ocean territory
,即英属印度洋领地)
Redis
安装
Redis
是C
语言开发,安装Redis
需要先将官网下载的源码进行编译,编译依赖gcc
环境,如果没有gcc
环境,需要安装gcc
- 安装
gcc
gcc
的安装很简单,首先要确保root
登录,其次就是Linux
要能连外网
yum -y install gcc automake autoconf libtool make
注意:运行yum
时出现/var/run/yum.pid
已被锁定,PID
为xxxx
的另一个程序正在运行的问题解决
rm -f /var/run/yum.pid
- 安装
redis
命令1:
wget http://download.redis.io/releases/redis-4.0.1.tar.gz
命令2:
tar zxvf redis-4.0.1.tar.gz
命令3:
cd redis-4.0.1
命令4(编译):
make 或 make MALLOC=libc
如下图代表成功:
命令5:
make PREFIX=/usr/local/redis install
(安装编译后的文件) 安装到指目录:
注意:PREFIX
必须大写、同时会自动为我们创建redis
目录,并将结果安装此目录
命令6:
cd /usr/local/redis
命令7:查看bin
目录下,如图:
三、Redis
启动
1、启动Redis
服务
进入对应的安装目录
/usr/local/redis
执行命令:
./bin/redis-server
2、启动Redis
客户端
进入Redis
客服端(Clone Session
克隆一个窗口):
进入对应的安装目录 :
cd /usr/local/redis
执行命令:
./bin/redis-cli
启动Redis
客户端命令:
redis-cli –h IP地址 –p 端口
退出客户端命令:Ctrl+C :
在以上实例中我们连接到本地的 redis
服务并执行 PING 命令,该命令用于检测 redis
服务是否启动。
检测是否服务端启动.
启动 redis
客户端,打开终端并输入命令 redis-cli
。该命令会连接本地的 redis
服务
3、关闭
-
第一种关闭方式:(断电、非正常关闭。容易数据丢失)
查询
PID ps -ef | grep -i redis
kill -9 PID
-
第二种关闭方式(正常关闭、数据保存)
./bin/redis-cli shutdown
关闭redis
服务,通过客户端进行shutdown
如果
redis
设置了密码,需要先在客户端通过密码登录,再进行shutdown
即可关闭服务端
通过ps –ef | grep –i redis
查看当前进程:
四、Linux
配置Redis
Redis
的配置文件位于Redis
安装目录下,文件名为redis.conf
(Windows
名为 redis.windows.conf
)。
1、配置Redis
Redis
端口号或启动有默认配置。但一般我们都会通过手动配置完成
回到根目录找到解压文件中的redis.conf
命令:cp redis.conf /usr/local/redis
将配置文件复制到安装文件的目录下
Redis
配置至此全部完成。
2、redis.conf
配置文件的详解
redis.conf
配置项说明如下:
(1)Redis
默认不是以守护进程的方式运行,可以通过该配置项修改,使用yes
启用守护进程:
daemonize no
(2)当Redis
以守护进程方式运行时,Redis
默认会把pid
写入/var/run/redis.pid
文件,可以通过pidfile
指定
pidfile /var/run/redis.pid
(3)指定Redis
监听端口,默认端口为6379
,为什么选用6379
作为默认端口,因为6379
在手机按键上MERZ
对应的号码,而MERZ
取自意大利歌女Alessia Merz
的名字
port 6379
(4)绑定的主机地址:
bind 127.0.0.1
(5)当 客户端闲置多长时间后关闭连接,如果指定为0,表示关闭该功能
timeout 300
(6)指定日志记录级别,Redis
总共支持四个级别:debug
、verbose
、notice
、warning
,默认为verbose
:
loglevel verbose
(7)日志记录方式,默认为标准输出,如果配置Redis
为守护进程方式运行,而这里又配置为日志记录方式为标准输出,则日志将会发送给/dev/null
:
logfile stdout
(8)设置数据库的数量,默认数据库为0
,可以使用SELECT <dbid>
命令在连接上指定数据库id
:
databases 16
(9)指定在多长时间内,有多少次更新操作,就将数据同步到数据文件,可以多个条件配合
save
Redis
默认配置文件中提供了三个条件:
save 900 1
save 300 10
save 60 10000
分别表示900
秒(15
分钟)内有1
个更改,300
秒(5
分钟)内有10
个更改以及60
秒内有10000
个更改。
(10)指定存储至本地数据库时是否压缩数据,默认为yes
,Redis
采用LZF
压缩,如果为了节省CPU
时间,可以关闭该选项,但会导致数据库文件变的巨大
rdbcompression yes
(11)指定本地数据库文件名,默认值为dump.rdb
dbfilename dump.rdb
(12)指定本地数据库存放目录
dir ./
(13)设置当本机为slave
服务时,设置master
服务的IP
地址及端口,在Redis
启动时,它会自动从master
进行数据同步
slaveof
(14)当master
服务设置了密码保护时,slave
服务连接master
的密码:
masterauth
(15)设置Redis
连接密码,如果配置了连接密码,客户端在连接Redis
时需要通过AUTH
命令提供密码,默认关闭:
requirepass foobared
(16)设置同一时间最大客户端连接数,默认无限制,Redis
可以同时打开的客户端连接数为Redis
进程可以打开的最大文件描述符数,如果设置 maxclients 0
,表示不作限制。当客户端连接数到达限制时,Redis
会关闭新的连接并向客户端返回max number of clients reached
错误信息:
maxclients 128
(17)指定Redis
最大内存限制,Redis
在启动时会把数据加载到内存中,达到最大内存后,Redis
会先尝试清除已到期或即将到期的Key
,当此方法处理后,仍然到达最大内存设置,将无法再进行写入操作,但仍然可以进行读取操作。Redis
新的vm
机制,会把Key
存放内存,Value
会存放在swap
区
maxmemory
(18)指定是否在每次更新操作后进行日志记录,Redis
在默认情况下是异步的把数据写入磁盘,如果不开启,可能会在断电时导致一段时间内的数据丢失。因为redis
本身同步数据文件是按上面save
条件来同步的,所以有的数据会在一段时间内只存在于内存中。默认为no
appendonly no
(19)指定更新日志文件名,默认为appendonly.aof
:
appendfilename appendonly.aof
(20)指定更新日志条件,共有3
个可选值:
no
:表示等操作系统进行数据缓存同步到磁盘(快)
always
:表示每次更新操作后手动调用fsync()
将数据写到磁盘(慢,安全)
everysec
:表示每秒同步一次(折中,默认值)
appendfsync everysec
(21)指定是否启用虚拟内存机制,默认值为no
,简单的介绍一下,VM
机制将数据分页存放,由Redis
将访问量较少的页即冷数据swap
到磁盘上,访问多的页面由磁盘自动换出到内存中(在后面的文章我会仔细分析Redis
的VM
机制)
vm-enabled no
(22)虚拟内存文件路径,默认值为/tmp/redis.swap
,不可多个Redis
实例共享:
vm-swap-file /tmp/redis.swap
(23)将所有大于vm-max-memory
的数据存入虚拟内存,无论vm-max-memory
设置多小,所有索引数据都是内存存储的(Redis
的索引数据 就是keys
),也就是说,当vm-max-memory
设置为0
的时候,其实是所有value
都存在于磁盘。默认值为0
:
vm-max-memory 0
(24)Redis swap
文件分成了很多的page
,一个对象可以保存在多个page
上面,但一个page
上不能被多个对象共享,vm-page-size
是要根据存储的 数据大小来设定的,作者建议如果存储很多小对象,page
大小最好设置为32
或者64bytes
;如果存储很大大对象,则可以使用更大的page
,如果不 确定,就使用默认值
vm-page-size 32
(25)设置swap
文件中的page
数量,由于页表(一种表示页面空闲或使用的bitmap
)是在放在内存中的,在磁盘上每8
个pages
将消耗1byte
的内存。
vm-pages 134217728
(26)设置访问swap
文件的线程数,最好不要超过机器的核数,如果设置为0
,那么所有对swap
文件的操作都是串行的,可能会造成比较长时间的延迟。默认值为4
vm-max-threads 4
(27)设置在向客户端应答时,是否把较小的包合并为一个包发送,默认为开启:
glueoutputbuf yes
(28)指定在超过一定的数量或者最大的元素超过某一临界值时,采用一种特殊的哈希算法:
hash-max-zipmap-entries 64
hash-max-zipmap-value 512
(29)指定是否激活重置哈希,默认为开启(后面在介绍Redis
的哈希算法时具体介绍):
activerehashing yes
(30)指定包含其它的配置文件,可以在同一主机上多个Redis
实例之间使用同一份配置文件,而同时各个实例又拥有自己的特定配置文件:
include /path/to/local.conf
Redis
中的内存维护策略:
redis
作为优秀的中间缓存件,时常会存储大量的数据,即使采取了集群部署来动态扩容,也应该即时的整理内存,维持系统性能。在
redis
中有两种解决方案,一是为数据设置超时时间,二是采用LRU
算法动态将不用的数据删除。内存管理的一种页面置换算法,对于在内存中但又不用的数据块(内存块)叫做LRU
,操作系统会根据哪些数据属于LRU
而将其移出内存而腾出空间来加载另外的数据。
volatile-lru
:设定超时时间的数据中,删除最不常使用的数据.
allkeys-lru
:查询所有的key
中最近最不常使用的数据进行删除,这是应用最广泛的策略.
volatile-random
:在已经设定了超时的数据中随机删除.
allkeys-random
:查询所有的key
,之后随机删除.
volatile-ttl
:查询全部设定超时时间的数据,之后排序,将马上将要过期的数据进行删除操作.
noeviction
:如果设置为该属性,则不会进行删除操作,如果内存溢出则报错返回.
volatile-lfu
:从所有配置了过期时间的键中驱逐使用频率最少的键allkeys-lfu
:从所有键中驱逐使用频率最少的键https://www.jianshu.com/p/c8aeb3eee6bc
3、自定义配置redis
(1)进入对应的安装目录 /usr/local/redis
修改 redis.conf
配置文件 vim redis.conf
(进入命令模式 通过/内容 查找相应字符串)
(2)Redis
配置默认必须修改
daemonize no 修改为 daemonize yes
bind 127.0.01 注释掉
requirepass 设置密码
Redis
采用的是单进程多线程的模式。当redis.conf
中选项daemonize
设置成yes
时,代表开启守护进程模式。在该模式下,redis
会在后台运行,并将进程pid
号写入至redis.conf
选项pidfile
设置的文件中,此时redis
将一直运行,除非手动kill
该进程。但当daemonize
选项设置成no
时,当前界面将进入redis
的命令行界面,exit
强制退出或者关闭连接工具(putty
,xshell
等)都会导致redis
进程退出。
服务端开发的大部分应用都是采用后台运行的模式