Nosql之redis配置与优化

一、redis

1、什么是缓存

缓存是为了调节速度不一致的两个或多个不同的物质的速度，在中间对速度较慢的一方起到加速作用，比如CPU的一级、二级缓存是保存了CPU最近经常访问的数据，内存是保存CPU经常访问硬盘的数据，而且硬盘也有大小不一的缓存，甚至是物理服务器的raid 卡有也缓存，都是为了起到加速CPU 访问硬盘数据的目的，因为CPU的速度太快了，CPU需要的数据由于硬盘往往不能在短时间内满足CPU的需求，因此CPU缓存、内存、Raid 卡缓存以及硬盘缓存就在一定程度上满足了CPU的数据需求，即CPU 从缓存读取数据可以大幅提高CPU的工作效率。

2、系统缓存

buffer：缓冲也叫写缓冲，一般用于写操作，可以将数据先写入内存再写入磁盘，buffer 一般用于写缓冲，用于解决不同介质的速度不一致的缓冲，先将数据临时写入到里自己最近的地方，以提高写入速度，CPU会把数据先写到内存的磁盘缓冲区，然后就认为数据已经写入完成看，然后由内核在后续的时间在写入磁盘，所以服务器突然断电会丢失内存中的部分数据。

cache：缓存也叫读缓存，一般用于读操作，CPU读文件从内存读，如果内存没有就先从硬盘读到内存再读到CPU，将需要频繁读取的数据放在里自己最近的缓存区域，下次读取的时候即可快速读取。

3、缓存保存位置及分层结构

互联网应用领域,提到缓存为王

- 用户层: 浏览器DNS缓存,应用程序DNS缓存,操作系统DNS缓存客户端

- 代理层: CDN,反向代理缓存

- Web层: Web服务器缓存

- 应用层: 页面静态化

- 数据层: 分布式缓存,数据库

- 系统层: 操作系统cache

- 物理层: 磁盘cache, Raid Cache

4、DNS缓存

浏览器的DNS缓存默认为60秒，即60秒之内在访问同一个域名就不在进行DNS解析

 5、应用层缓存

Nginx、PHP等web服务可以设置应用缓存以加速响应用户请求，另外有些解释性语言，比如：PHP/Python/Java不能直接运行，需要先编译成字节码，但字节码需要解释器解释为机器码之后才能执行，因此字节码也是一种缓存，有时候还会出现程序代码上线后字节码没有更新的现象。所以一般上线

新版前,需要先将应用缓存清理,再上线新版。另外可以利用动态页面静态化技术,加速访问,比如:将访问数据库的数据的动态页面,提前用程序生成静态

页面文件html 电商网站的商品介绍,评论信息非实时数据等皆可利用此技术实现。

6、数据层缓存

分布式缓存服务

---Redis

---Memcached

数据库

---MySQL 查询缓存

---innodb缓存、MYISAM缓存

6、硬件缓存

CPU缓存(L1的数据缓存和L1的指令缓存)、二级缓存、三级缓存

磁盘缓存:Disk Cache

磁盘阵列缓存: Raid Cache,可使用电池防止断电丢失数据

二、关系数据库与非关系型数据库

1、关系型数据库

·—个结构化的数据库，创建在关系模型基础上

·—般面向于记录

·包括：Oracle、MySQL、SQL Server、Microsoft Access、DB2等

2、非关系型数据库

·除了主流的关系型数据库外的数据库，都认为是非关系型

包括：Redis、MongBD、Hbase、CouhDB等

3、非关系型数据库产生背景

·High performance—对数据库高并发读写需求

·Huge Storage—对海量数据高效存储与访问需求

·High Scalability && High Availability-对数据库高

可扩展性与高可用性需求

4、关系数据库与非关系型数据库的对比

三、Redis

1、Redis简介

Redis (Remote Dictionary Server)在2009年发布，开发者Salvatore Sanfilippo是意大利开发者，他本想为自己的公司开发一个用于替换MySQL的产品Redis，但是没有想到他把Redis开源后大受欢迎，短短几年，Redis就有了很大的用户群体，目前国内外使用的公司众多,比如:阿里,百度,新浪微博,知乎网,GitHub,Twitter 等。

Redis是一个开源的、遵循BSD协议的、基于内存的而且目前比较流行的键值数据库(key-value database)，是一个非关系型数据库，redis 提供将内存通过网络远程共享的一种服务，提供类似功能的还有memcached，但相比memcached，redis还提供了易扩展、高性能、具备数据持久性等功能。

2、Redis的特点

·Redis基于内存运行并支持持久化

·采用key-value(键值对)的存储形式

·具有极高的数据读写速度

·支持丰富的数据类型

·支持数据的持久化

·原子性

·支持数据备份

3、redis对比memcached

·支持数据的持久化：可以将内存中的数据保持在磁盘中，重启redis服务或者服务器之后可以从备份文件中恢复数据到内存继续使用

·支持更多的数据类型：支持string(字符串)、hash(哈希数据)、list(列表)、set(集合)、zset(有序集合)

·支持数据的备份：可以实现类似于数据的master-slave模式的数据备份，另外也支持使用快照+AOF

·支持更大的value数据：memcache单个key value最大只支持1MB，而redis最大支持512MB(生产不建议超过2M,性能受影响)

·在Redis6版本前,Redis 是单线程，而memcached是多线程，所以单机情况下没有memcached 并发高,性能更好,但redis 支持分布式集群以实现更高的并发，单Redis实例可以实现数万并发

·支持集群横向扩展：基于redis cluster的横向扩展，可以实现分布式集群，大幅提升性能和数据安全性

·都是基于 C 语言开发

4、redis典型应用场景

·Session 共享：常见于web集群中的Tomcat或者PHP中多web服务器session共享

·缓存：数据查询、电商网站商品信息、新闻内容

·计数器：访问排行榜、商品浏览数等和次数相关的数值统计场景

·微博/微信社交场合：共同好友,粉丝数,关注,点赞评论等

·消息队列：ELK的日志缓存、部分业务的订阅发布系统

·地理位置: 基于GEO(地理信息定位),实现摇一摇,附近的人,外卖等功能

四、Redis的安装部署

1、关闭防火墙，关闭系统安全机制

2、安装编译环境和编译器

3、将安装包托入/root目录下、解压到opt目录下

进入到解压好的目录下编译并且安装，安装目录为/usr/local/redis

4、切换到utils目录下，执行安装服务脚本

除划线部分需要手打其余都是回车确定

5、将redisbin目录下的可执行文件软连接至路劲环境变量中便于系统识别

6、开启服务，查看tcp协议6379端口是否打开

7、进入 /etc/redis/6379.conf修改配置参数（修改70 行加上自己的网卡）

vim /etc/redis/6379.conf

70行，添加 监听的主机地址

bind 127.0.0.1 192.168.93.100                        

93行，Redis默认的监听端口

port 6379                                                                        

137行，启用守护进程

daemonize yes                                                        

159行，指定 PID 文件

pidfile /var/run/redis_6379.pid                                

167行，日志级别

loglevel notice                                                                

172行，指定日志文件

logfile /var/log/redis_6379.log        

                        

/etc/init.d/redis_6379 restart

8、改完后，重启服务，并查看端口状态

五、Redis命令相关

六、Redis 高可用

在web服务器中，高可用是指服务器可以正常访问的时问，衡量的标准是在多长时间内可以提供正常服务(99.9%、99.99%、99.998等等)。但是在Redis语境中，高可用的含义似乎要宽泛一些，除了保证提供正常服务（如主从分离、快速容灾技术)，还需要考虑数据容量的扩展、数据安全不会丢失等。

在Redis中，实现高可用的技术主要包括持久化、主从复制、哨兵和cluster集群，下面分别说明它们的作用，以及解决了什么样的问题。、

1、主从复制:主从复制是高可用Redis的基础，哨兵和集群都是往E从复制基优上实现g分用的隆上从f糯能上[的能月的码制。"oEr)，"及对于读操作的负载均衡和简单的故障恢复。缺陷:故障恢复无法自动化;写操作无法负载均衡;存储能力受到单机的限制。

2、哨兵:在主从复制的基础上，哨兵实现了自动化的故障恢复。缺陷:写操作无法负载均衡;存储能力受到单机的限制。

3、集群:通过集群，Redis解决了写操作无法负载均衡，以及存储能力受到单机限制的问题，实现了较为完善的高可用方案。

4、持久化:持久化是最简单的高可用方法(有时甚至不被归为高可用的手段)，主要作用是数据备份，即将数据存储在硬盘，保证数据不会因进程退出而丢失。

七、Redis持久化

Redis 是一种高级 key-value 数据库。 它跟 memcached 类似， 不过数据可以持久化， 而且支持的数据类型很丰富。 有字符串， 链表， 集合和有序集合。 支持在服务器端计算集合的并， 交和补集(difference)等， 还支持多种排序功能。 所以 Redis 也可以被看成是一个数据结构服务器。

Redis 的所有数据都是保存在内存中， 然后不定期的通过异步方式保存到磁盘上(这称为“半持久化模式” )； 也可以把每一次数据变化都写入到一个 append only file(aof)里面(这称为“全持久化模式” )。

由于 Redis 的数据都存放在内存中， 如果没有配置持久化， redis 重启后数据就全丢失了， 于是需要开启 redis 的持久化功能， 将数据保存到磁盘上， 当 redis 重启后， 可以从磁盘中恢复数据。 redis 提供两种方式进行持久化， 一种是 RDB 持久化（原理是将 Reids 在内存中的数据库记录定时 dump 到磁盘上的 RDB 持久化）， 另外一种是 AOF（append only file）

持久化（原理是将 Reids 的操作日志以追加的方式写入文件）。 那么这两种持久化方式有什么区别呢， 改如何选择呢？ 网上看了大多数都是介绍这两种方式怎么配置， 怎么使用， 就是没有介绍二者的区别， 在什么应用场景下使用。

1、持久化概述

Redis是运行在内存中，内存中的数据断电丢失

为了能够重用Redis数据，或者防止系统故障，我们需要将Redis中的数据写入到磁盘空间中，即持久化

2、持久化分类

RDB方式：创建快照的方式获取某一时刻Redis中所有数据的副本

AOF方式：将执行的写命令写到文件的末尾，以日志的方式来记录数据的变化RDB 持久化是指在指定的时间间隔内将内存中的数据集快照写入磁盘， 实际操作过程是fork 一个子进程， 先将数据集写入临时文件， 写入成功后， 再替换之前的文件， 用二进制压缩存储AOF 持久化以日志的形式记录服务器所处理的每一个写、 删除操作， 查询操作不会记录，以文本的方式记录， 可以打开文件看到详细的操作记录。

八、RDB 和 AOF 的优缺点

1、RDB 存在哪些优势呢？

①一旦采用该方式， 那么你的整个 Redis 数据库将只包含一个文件， 这对于文件备份而言是非常完美的。 比如， 你可能打算每个小时归档一次最近 24 小时的数据， 同时还要每天归档一次最近 30 天的数据。 通过这样的备份策略， 一旦系统出现灾难性故障， 我们可以

非常容易的进行恢复。

②对于灾难恢复而言， RDB 是非常不错的选择。 因为我们可以非常轻松的将一个单独的文件压缩后再转移到其它存储介质上。

③ 性能最大化。 对于 Redis 的服务进程而言， 在开始持久化时， 它唯一需要做的只是fork 出子进程， 之后再由子进程完成这些持久化的工作， 这样就可以极大的避免服务进程执行 IO 操作了。

2、相比于 AOF 机制， 如果数据集很大， RDB 的启动效率会更高。

RDB 又存在哪些劣势呢？

①如果想保证数据的高可用性， 即最大限度的避免数据丢失， 那么 RDB 将不是一个很

好的选择。 因为系统一旦在定时持久化之前出现宕机现象， 此前没有来得及写入磁盘的数据

都将丢失。

②由于 RDB 是通过 fork 子进程来协助完成数据持久化工作的， 因此， 如果当数据集较

大时， 可能会导致整个服务器停止服务几百毫秒， 甚至是 1 秒钟。

3、AOF 的优势有哪些呢？

 ①该机制可以带来更高的数据安全性， 即数据持久性。 Redis 中提供了 3 种同步策略，即每秒同步、 每修改同步和不同步。 事实上， 每秒同步也是异步完成的， 其效率也是非常高 的， 所差的是一旦系统出现宕机现象， 那么这一秒钟之内修改的数据将会丢失。 而每修改同步， 我们可以将其视为同步持久化， 即每次发生的数据变化都会被立即记录到磁盘中。 可以预见， 这种方式在效率上是最低的。 至于无同步， 无需多言， 我想大家都能正确的理解它。

②由于该机制对日志文件的写入操作采用的是 append 模式，因此在写入过程中即使出现宕机现象， 也不会破坏日志文件中已经存在的内容。 然而如果我们本次操作只是写入了一半数据就出现了系统崩溃问题， 不用担心， 在 Redis 下一次启动之前， 我们可以通过redis-check-aof 工具来帮助我们解决数据一致性的问题。

 ③ 如果日志过大， Redis 可以自动启用 rewrite 机制。 即 Redis 以 append 模式不断的将修改数据写入到老的磁盘文件中， 同时 Redis 还会创建一个新的文件用于记录此期间有哪些修改命令被执行。 因此在进行 rewrite 切换时可以更好的保证数据安全性。

④AOF 包含一个格式清晰、 易于理解的日志文件用于记录所有的修改操作。 事实上，我们也可以通过该文件完成数据的重建

4、AOF 的劣势有哪些呢？

①对于相同数量的数据集而言， AOF 文件通常要大于 RDB 文件。 RDB 在恢复大数据集时的速度比 AOF 的恢复速度要快。

②根据同步策略的不同， AOF 在运行效率上往往会慢于 RDB。 总之， 每秒同步策略的效率是比较高的， 同步禁用策略的效率和 RDB 一样高效。二者选择的标准， 就是看系统是愿意牺牲一些性能， 换取更高的缓存一致性（aof）， 还是愿意写操作频繁的时候， 不启用备份来换取更高的性能， 待手动运行 save 的时候， 再做备份（rdb）。 rdb 这个就更有些 eventually consistent 的意思了。