NoSQL之Redis配置与优化

最新推荐文章于 2024-09-11 22:29:47 发布

wkysdhr

最新推荐文章于 2024-09-11 22:29:47 发布

阅读量1.1k

点赞数 22

文章标签： nosql redis 数据库

本文链接：https://blog.csdn.net/wkysdhr/article/details/140347263

版权

一、Redis介绍

Redis 数据库是一个非关系型数据库，在正式学习 Redis 之前，先来了解关系型数据库与非关系型数据库的概念。

1关系型数据库与非关系型数据库

数据库按照数据库的结构可以分为关系型数据库与其他数据库,而这些其他数据库我们将其统称为非关系型数据库。

(1)关系型数据库

关系型数据库是一个结构化的数据库，创建在关系模型基础上，一般面向于记录。它借助于集合代数等数学概念和方法来处理数据库中的数据。关系模型就是指二维表格模型,因而一个关系型数据库就是由二维表及其之间的联系组成的一个数据组织。现实世界中,各种实体与实体之间的各种联系都可以用关系模型来表示。SQL语句(标准数据查询语言)就是一种基于关系型数据库的语言，用于执行对关系型数据库中数据的检索和操作。
主流的关系型数据库包括 Oracle、MySQL、SQLServer、Microsoft Access、DB2 等。

(2)非关系型数据库

NoSQL(NoSQL= Not Only SQL),意思是“不仅仅是 SQL”,是非关系型数据库的总称。主流的 NoSQL 数据库有 Redis、MongBD、Hbase、CouhDB 等等。以上这些非关系型数据库，他们的存储方式、存储结构以及使用的场景都是完全不同的。所以我们认为它是一个非关系型数据库的集合，而不是像关系型数据库一样，是一个统称。换言之，除了主流的关系型数据库以外的数据库，都可以认为是非关系型的。NoSQL数据库凭借着其非关系型分布式、开源及横向扩展等优势，被认为是下一代数据库产品。

(3)非关系型数据库产生背景

        随着Web2.0网站的兴起，关系型数据库在应对 Web2.0网站，特别是海量数据和高并发的SNS(Social Networking Services，即社交网络服务)类型的 Web2.0 纯动态网站时，暴露出很多难以解决的问题，例如三高问题。
        High performance——对数据库高并发读写需求
        Web2.0网站会根据用户的个性化信息来实时生成动态页面和提供动态信息，因此无法使用动态页面静态化技术。所以数据库的并发负载非常高，一般会达到10000次/s以上的读写请求。关系型数据库对于上万次的查询请求还是可以勉强支撑的，但出现上万次的写数据请求，硬盘 10 就已经无法承受了。对于普通的 BBS 网站，往往也会存在高并发的写数据请求。
        Huge Storage——对海量数据高效存储与访问需求
        类似于 Facebook、Friendfeed 这样的 SNS 网站，每天会产生大量的用户动态信息。如 Friendfeed,一个月就会产生不少于 2.5亿条用户动态信息，对于关系型数据库来说，在一个包含 2.5 亿条记录的表中执行 SQL查询，查询效率是非常低的。
        High Scalability && High Availability——对数据库高可扩展性与高可用性需求
        在 Web 架构中，数据库是最难进行横向扩展的。当应用系统的用户量与访问量与日俱增时，数据库是没办法像 Web 服务一样，简单地通过添加硬件和服务器节点来扩展其性能和负载能力的。尤其对于一些需要 24 小时对外提供服务的网站来说，数据库的升级与扩展往往伴随着停机维护与数据迁移，其工作量是非常庞大的。
        关系型数据库和非关系型数据库都有各自的特点与应用场景，两者的紧密结合将会给Web2.0的数据库发展带来新的思路。让关系数据库关注在关系上，非关系型数据库关注在存储上。例如，在读写分离的 MySQL数据库环境中,可以把经常访问的数据存储在非关系型数据库中，提升访问速度。

2.Redis基础

(1)Redis简介

        Redis(RemoteDictionaryServer，远程字典型)是一个开源的、使用C语言编写的NoSQL数据库。Redis 基于内存运行并支持持久化，采用 key-value(键值对)的存储形式是目前分布式架构中不可或缺的一环。
        Redis服务器程序是单进程模型,也就是在一台服务器上可以同时启动多个Redis 进程,而 Redis 的实际处理速度则是完全依靠于主进程的执行效率。若在服务器上只运行一个Redis 进程，当多个客户端同时访问时，服务器的处理能力是会有一定程度的下降:若在同一台服务器上开启多个 Redis 进程，Redis 在提高并发处理能力的同时会给服务器的 CPU造成很大压力。即:在实际生产环境中，需要根据实际的需求来决定开启多少个Redis 进程。若对高并发要求更高一些，可能会考虑在同一台服务器上开启多个进程。若 CPU 资源比较紧张，采用单进程即可。
        Redis 具有以下几个优点:
        具有极高的数据读写速度，数据读取的速度最高可达到 110000 次/s，数据写入速度最高可达到 81000 次/s。
        支持丰富的数据类型，不仅仅支持简单的 key-value 类型的数据，还支持 Strings,Ordered Sets，ListsHashes及Sets等数据类型操作。
        支持数据的持久化，可以将内存中的数据保存在磁盘中，重启的时候可以再次加载进行使用。
        原子性，Redis 所有操作都是原子性的。
        支持数据备份，即master-salve 模式的数据备份。
        Redis 作为基于内存运行的数据库，缓存是其最常应用的场景之一。除此之外，Redis常见应用场景还包括获取最新 N 个数据的操作、排行榜类应用、计数器应用、存储关系、实时分析系统、日志记录。

3.Redis命令工具

        Redis 软件提供了多个命令工具。安装 Redis 服务时，所包含的软件工具会同时被安装到系统中，在系统中可以直接使用。这些命令工具的作用分别如下所示。
        redis-server:用于启动Redis 的工具;
        redis-benchmark:用于检测 Redis 在本机的运行效率;
        redis-check-aof:修复 AOF 持久化文件;
        redis-check-rdb:修复 RDB 持久化文件;
        redis-cli:Redis 命令行工具。
        本节只介绍redis-cli、redis-benchmark 命令工具的使用。

(1)redis-cli命令行工具

Redis 数据库系统也是一个典型的 C/S(客户端/服务器端)架构的应用，要访问 Redis数据库需要使用专门的客户端软件。Redis 服务的客户端软件就是其自带的redis-cli 命令行工具。使用 redis-cli 连接指定数据库，连接成功后会进入提示符为"远程主机 IP 地址:端口号>”的数据库操作环境，例如“127.0.0.1:6379>”。用户可以输入各种操作语句对数据库进行管理。执行 ping 命令可以检测 Redis 服务是否启动。

[root@localhost ~]#/usr/localredis/bin/redis-cli
127.0.0.1:6379>ping
PONG
127.0.0.1:6379>

        在进行数据库连接操作时，可以通过选项来指定远程主机上的Redis 数据库。命令语法为 redis-cli -h host -p port -a password，其中-h 指定远程主机、-p 指定 Redis 服务的端口号、-a 指定密码。若不添加任何选项表示，连接本机上的 Redis 数据库。
        在数据库操作环境中，使用 help 命令可以获取命令类型的帮助。有三种获取命令帮助的方式。
        help @<group>:获取<group>中的命令列表
        help<command>:获取某个命令的帮助
        help<tab>:获取可能帮助的主题列表

(2)redis-benchmark测试工具

        redis-benchmark 是官方自带的 Redis 性能测试工具,可以有效的测试 Redis 服务的性能。基本的测试语法为redis-benchmark [option] [option value]。常用选项如下所示。
        -h:指定服务器主机名;
        -p:指定服务器端口;
        -s:指定服务器 socket:
        -c:指定并发连接数;
        -n:指定请求数;
        -d:以字节的形式指定 SET/GET 值的数据大小:
        -k:1=keep alive 0=reconnect;
        -T:SET/GET/INCR 使用随机 key,SADD 使用随机值:
        -P:通过管道传输<numreq>请求;
        -q:强制退出 redis。仅显示 query/sec 值;
        --csv:以 CSV 格式输出;
        -l:生成循环，永久执行测试;
        -t:仅运行以逗号分隔的测试命令列表:
        -I:ldle 模式。仅打开N个idle 连接并等待。

执行redis-benchmark -h 192.168.10.161-p6379 -q-d 100 命令的作用是测试存取大小为 100 字节的数据包的性能。

4.Redis数据库常用命令

        前面提到 Redis 数据库采用 key-value(键值对)的数据存储形式。所使用的命令是 set与 get 命令。
        set:存放数据，基本的命令格式为set key value。
        get:获取数据，基本的命令格式为 get key。

(1)key相关命令

Redis 数据库中，与 key 相关的命令主要包含以下几种。

(1)keys
使用 keys 命令可以取符合规则的键值列表，通常情况可以结合*、?等选项来使用
127.0.0.1:6379>KEYS *    //查看当前数据库中所有键
127.0.0.1:6379>KEYS v*   //查看当前数据库中以v开头的数据
127.0.0.1:6379>KEYS V?   //查看当前数据库中以v开头后面包含任意一位的数据

(2)exists
exists 命令可以判断键值是否存在。
127.0.0.1:6379>exists teacher
(integer) 1
127.0.0.1:6379>exists tea
(integer) 0

(3)del
del 命令可以删除当前数据库的指定 key.

(4)type
使用 type 命令可以获取 key 对应的 value 值类型。
127.0.0.1:6379>type k1
string

(5)rename
rename 命令是对已有 key 进行重命名，其命令格式为:rename 源key 目标 key。使用rename命令进行重命名时,无论目标key是否存在都进行重命名,且源key的值会覆盖目标key的值。在实际使用过程中，建议先用exists命令査看目标key是否存在，然后再决定是否执行rename命令，以避免覆盖重要数据。

(6)renamenx
renamenx命令的作用是对已有key进行重命名，并检测新名是否存在。其命令格式与rename的命令格式除命令关键字不同外基本相同:renamenx 源 key 目标 key。使用renamenx命令进行重命名时，如果目标 key存在则不进行重命名。

(7)dbsize
dbsize 命令的作用是查看当前数据库中key的数目。
127.0.0.1:6379>dbsize
(integer) 5

(2)多数据库常用命令

Redis 支持多数据库，Redis 在没有任何改动的情况下默认包含 16 个数据库，数据库名称是用数字 0-15 来依次命名的。使用 select 命令可以进行 Redis 的多数据库之间的切换命令格式为 selectindex,其中 index 表示数据库的序号。而使用 redis-ci 连接 Redis 数据库后，默认使用的是序号为0的数据库。

127.0.0.1:6379>select 10        //切换至序号为10的数据库

Redis 的多数据库在一定程度上是相对独立的，例如在数据库0上面存放 k1 的数据,在其它 1-15 的数据库上是无法查看到的。
Redis 数据库提供了一个 move 的命令，可以进行多数据库之间的数据移动。命令的基本语法格式为“move key dbindex”。其中“key"表示当前数据库的目标键，"dbindex”表示目标数据库的序号，具体操作方法如下所示。

127.0.0.1:6379>move k1 1            //将数据库0中k1移动到数据库1中
(integer) 1

Redis 数据库的整库数据删除主要分为两个部分:清空当前数据库数据,使用FLUSHDB命令实现:清空所有数据库的数据，使用FLUSHALL命令实现。但是，数据清空操作比较危险，生产环境下一般不建议使用。

二、Redis持久化

        Redis 是一种高级 key-value 数据库。它跟 Memcached 类似，不过数据可以持久化，而且支持的数据类型很丰富，有字符串、列表、集合和有序集合。支持在服务器端计算集合(difference)等，还支持多种排序功能。所以 Redis 也可以被看成是一个数据结构服务器。
        Redis 的所有数据都是保存在内存中，然后不定期的通过异步方式保存到磁盘上(这称为“半持久化模式”):也可以把每一次数据变化都写入到一个 append only file(aof)里面(这称为“全持久化模式”)。
        由于 Redis 的数据都存放在内存中，如果没有配置持久化，Redis 重启后数据就全丢失了。所以，需要开启 Redis 的持久化功能，将数据保存到磁盘上，当 Redis 重启后，可以从磁盘中恢复数据。Redis 提供两种方式进行持久化，一种是 RDB 持久化(原理是将 Reids在内存中的数据库记录定时 dump 到磁盘上的RDB持久化),另外一种是 AOF(append onlyfle)持久化(原理是将 Reids 的操作日志以追加的方式写入文件)。

1.RDB和AOF的区别

RDB 持久化是指在指定的时间间隔内将内存中的数据集快照写入磁盘，实际操作过程是 fork 一个子进程，先将数据集写入临时文件，写入成功后，再替换之前的文件，用二进制压缩存储。

AOF持久化以日志的形式记录服务器所处理的每删除操作，查询操作不会记录，以文本的方式记录，可以打开文件看到详细的操作记录。

2.RDB和AOF的优缺点

(1)RDB的优缺点

优点：
        旦采用该方式，那么整个 Redis 数据库将只包含一个文件，这对于文件备份而言是非常完美的。比如，计划每个小时归档一次最近 24 小时的数据，同时还要每天归档一次最近 30 天的数据。通过这样的备份策略，一旦系统出现灾难性故障，可以非常容易地进行恢复。
        对于灾难恢复而言，RDB是非常不错的选择。可以非常轻松的将一个单独的文件压缩后再转移到其它存储介质上。
        性能最大化，对于 Redis 的服务进程而言，在开始持久化时，它唯一需要做的只是fork出子进程，之后再由子进程完成这些持久化的工作，这样就可以极大的避免服务进程执行IO操作了。
相比于AOF机制，如果数据集很大，RDB的启动效率会更高。
缺点：
        如果想保证数据的高可用性，即最大限度的避免数据丢失，那么RDB 将不是一个很好的选择。因为系统一旦在定时持久化之前出现宕机现象，此前没有来得及写入磁盘的数据都将丢失。
        由于 RDB 是通过 fork 子进程来协助完成数据持久化工作的，因此当数据集较大时，可能会导致整个服务器停止服务几百毫秒，甚至是1秒钟。

(2)AOF的优缺点

优点：
        AOF 机制可以带来更高的数据安全性,即数据持久性。Redis 中提供了3种同步策略,即每秒同步、每次修改同步和不同步。事实上，每秒同步也是异步完成的，其效率也是非常高的，弊端是一旦系统出现宕机现象，那么这一秒钟之内修改的数据将会丢失。而每次修改同步，可以将其视为同步持久化，即每次发生的数据变化都会被立即记录到磁盘中，这种方式在效率上是最低的。
        由于该机制对日志文件的写入操作采用的是 append 模式,因此在写入过程中即使出现宕机现象，也不会破坏日志文件中已经存在的内容。然而如果本次操作只是写入了一半数据就出现了系统崩溃问题，那么在 Redis 下一次启动之前，可以通过 redis-check-aof工具来解决数据一致性的问题。
        如果日志过大，Redis 可以自动启用 rewrite 机制。即 Redis 以 append 模式不断地将修改数据写入到老的磁盘文件中，同时 Redis 还会创建一个新的文件用于记录此期间有哪些修改命令被执行。因此在进行rewrite 切换时可以更好的保证数据安全性。
        AOF 包含一个格式清晰、易于理解的日志文件用于记录所有的修改操作。事实上，也可以通过该文件完成数据的重建。
缺点：
        对于相同数量的数据集而言，AOF 文件通常要大于RDB 文件。RDB 在恢复大数据集时的速度比 AOF 的恢复速度要快。
        根据同步策略的不同，AOF在运行效率上往往会慢于RDB。每秒同步策略的效率是比较高的，同步禁用策略的效率和 RDB一样高效。

二者选择的标准，就是看系统是愿意牺牲一些性能，换取更高的缓存一致性(AOF)，还是愿意写操作频繁的时候，不启用备份来换取更高的性能，待手动运行save 的时候，再做备份(RDB)。

3.Redis持久化配置

(1)RDB持久化配置

        Redis 会将数据集的快照 dump 到 dump.rdb 文件中。此外，也可以通过配置文件来修改 Redis 服务器 dump 快照的频率。在打开 6379.conf 文件之后，搜索 save，可以看到如下所示配置信息。
        save 900 1:在 900 秒(15 分钟)之后，如果至少有1个key 发生变化，则 dump内存快照。
        save 300 10:在 300 秒(5 分钟)之后，如果至少有 10个 key 发生变化，则 dump内存快照。
        save 60 10000:在 60 秒(1 分钟)之后，如果至少有 10000个key发生变化，则dump 内存快照。

(2)AOF持久化配置

在 Redis 的配置文件中存在三种同步方式，它们分别是:
        appendfsync always:每次有数据修改发生时都会写入 AOF 文件。
        appendfsynceverysec:每秒钟同步一次，该策略为AOF 的缺省策略。
        appendfsyncno:从不同步，高效但是数据不会被持久化。

三、性能管理

Redis 性能管理需要关注的数据指标有内存使用率、内存碎片率、回收 key 等。这其中有些数据可以通过进入 info 命令进行查看。需要査看某一项的值就后面跟具体参数。

192.168.10.101:6379> info memory

1.回收key

        当内存使用达到设置的最大阀值时，需要选择一种key 的回收策略，可在redis.conf配置文件中修改“maxmemory-policy"属性值。默认情况下回收策略是禁止删除，若是 Redis数据集中的 key 都设置了过期时间,那么“volatile-ttl”策略是比较好的选择。但如果 key 在达到最大内存限制时没能够迅速过期，或者根本没有设置过期时间。那么设置为"alkeys-ru”值比较合适，它允许 Redis 从整个数据集中挑选最近最少使用的 key 进行删除(LRU 淘汰算法)。Redis 还提供了一些其他淘汰策略。
        volatile-lru:使用 LRU 算法从已设置过期时间的数据集合中淘汰数据
        volatile-ttl:从已设置过期时间的数据集合中挑选即将过期的数据淘汰
        volatile-random:从已设置过期时间的数据集合中随机挑选数据淘汰
        allkeys-ru:使用 LRU 算法从所有数据集合中淘汰数据
        allkeys-random:从数据集合中任意选择数据淘汰;
        no-enviction:禁止淘汰数据。