学习自动化运维的第八天（非关系型数据库Memcached&Redis构建缓存服务器）

一、前言

许多Web应用都将数据保存到关系型数据库( RDBMS)中，应用服务器从中读取数据并在浏览器中显示。但随着数据量的增大、访问的集中，就会出现RDBMS的负担加重、数据库响应恶化、 网站显示延迟等重大影响。
Memcached/redis是高性能的分布式内存缓存服务器,通过缓存数据库查询结果，减少数据库访问次数，以提高动态Web等应用的速度、 提高可扩展性。

1.1关系型数据库和非关系型数据库的区别简介

一、首先了解一下 什么是关系型数据库？（数据存储到硬盘里）
关系型数据库最典型的数据结构是表，由二维表及其之间的联系所组成的一个数据组
织。
优点：
1、易于维护：都是使用表结构，格式一致；
2、使用方便：SQL语言通用，可用于复杂查询；
3、复杂操作：支持SQL，可用于一个表以及多个表之间非常复杂的查询。
缺点：
1、读写性能比较差，尤其是海量数据的高效率读写；
2、固定的表结构，灵活度稍欠；
3、高并发读写需求，传统关系型数据库来说，硬盘I/O是一个很大的瓶颈

二、 非关系型数据库 （数据存储到内存里）
什么非关系型数据库呢？

非关系型数据是一种数据结构化存储方法的集合，可以是文档或者键值对等

优点：
1、格式灵活：存储数据的格式可以是key,value形式、文档形式、图片形式等等，文档形式、图片形式等等，使用灵活，应用场景广泛，而关系型数据库则只支持基础类型。
2、速度快：nosql可以使用硬盘或者随机存储器作为载体，而关系型数据库只能使用硬盘；
3、高扩展性；
4、成本低：nosql数据库部署简单，基本都是开源软件。

缺点：
1、不提供sql支持，学习和使用成本较高；
2、无事务处理；
3、数据结构相对复杂，复杂查询方面稍欠。

1.2非关系型数据库优缺点

NOSQL名词解释：非关系型数据库
优点:

• 高可扩展性
• 分布式计算
• 低成本
• 架构的灵活性
• 没有复杂的关系
  缓存服务器作用: 加快访问速度 ,缓解数据库压力
  缺点:
• 没有标准化
• 有限的查询功能（到目前为止）
• 最终一致是不直观的程序

二、memcached

2.1简介

1.内置内存存储方式-----------为了提高性能，memcached中保存的数据都存储在memcache内置的内存存储空间中。由于数据仅存在于内存中，重启操作系统会导致全部数据消失
2.简单key/value存储---------------服务器不关心数据本身的意义及结构，只要是可序列化数据即可。存储项由“键、过期时间、可选的标志及数据”四个部分组成；

2.2安装

memcache能存放多少数据，取决于服务器本身的内存有多大。
1.安装
yum install memcached -y
启动：
systemctl start memcached
2.修改配置文件
vim /etc/sysconfig/memcached

3.测试
安装telnet
yum install -y telnet
格式 ： telnet ip 端口号

quit 推出
补：
不用它的原因：存储的数据类型单一，而且数据只能存储在内存中。无法实现数据的持久化，服务器重启，数据将消失

2.3扩展:安装php支持memcached的扩展模块: 安装php7.0

1.配置yum源
rpm -Uvh https://mirror.webtatic.com/yum/el7/epel-release.rpm
rpm -Uvh https://mirror.webtatic.com/yum/el7/webtatic-release.rpm
2.安装
yum install php70w.x86_64 php70w-cli.x86_64 php70w-common.x86_64 php70w-gd.x86_64 php70w-ldap.x86_64 php70w-mbstring.x86_64 php70w-mcrypt.x86_64 php70w-mysql.x86_64 php70w-pdo.x86_64 php70w-devel zlib-devel -y

yum -y install php70w-fpm

yum install -y make gcc zlib-devel libmemcached-devel git

yum install libmemcached -y

yum install php70w-pecl-memcached -y
3.设置nginx配置文件
vim /etc/nginx/conf.d/nginx.conf
添加这个页面：


4.创建测试页面
cd /usr/share/nginx/html/

然后重启nginx和php服务，浏览器测试

三、redis

3.1简介

redis是一个开源的、使用C语言编写的、支持网络交互的、可基于内存也可持久化的Key-Value数据库
redis的特点:
1.丰富的数据结构 -----String,list,set,hash等数据结构的存储
2.支持持久化
3.支持事务 ---------------事务是指“一个完整的动作，要么全部执行，要么什么也没有做”。
4.支持主从
redis和memcache比较
1).Redis不仅仅支持简单的k/v类型的数据,同时还提供了list,set,zset,hash等数据结构的存储
2).Redis支持master-slave(主-从)模式应用
3).Redis支持数据的持久化 （保存到硬盘里）

3.2安装

1.下载redis
wget http://download.redis.io/releases/redis-4.0.9.tar.gz
2.解压
先创建一个解压后的存储目录
mkdir -p /data/application
解压：
tar xzf redis-4.0.9.tar.gz -C /data/application/
3.改名
进入文件后改个名字
cd /data/application/
mv redis-4.0.9/ redis
cd redis/
4安装编译工具进行编译
yum install -y gcc make
make
5.修改配置文件
vim redis.conf

++++

++++

++++

++++

6.启动和关闭 redis 有两种方法：
一、手动启动关闭
启动redis：
进入到src的上一级目录 ，也即进入到redis的主目录

ser里存储着redis的命令文件，所以我们只要运行相关的启动文件即可启动redis：

++++

关闭redis：
只能通过查询redis的进程号，然后通过kill命令杀死这个服务
查询进程：
ps aux | grep redis
杀死进程：
kill -9 进程号

二、配置systemctl
配置：
cd /lib/systemd/system
vim redis.service

++++
测试：

关闭redis

启动redis

7.登录redis
进入到redis主目录里的src命令文件里 手动登录：
cd /data/application/redis/src/
./redis-cli

++++
测试：

3.3数据持久化 （数据备份）

即把数据保存到可永久保存的存储设备中（如磁盘）。
redis持久化 – 两种方式：

redis提供了两种持久化的方式，分别是RDB（Redis DataBase）和AOF（Append Only File）。

RDB（Redis DataBase）：是在不同的时间点，将redis存储的数据生成快照并存储到磁盘等介质上；
特点:
1.周期性
2.不影响数据写入 #RDB会启动子进程，备份所有数据。当前进程，继续提供数据的读写。当备份完成，才替换老的备份文件。
3.高效 #一次性还原所有数据
完整性较差 #故障点到上一次备份，之间的数据无法恢复。

AOF（Append Only File）则是换了一个角度来实现持久化，那就是将redis执行过的所有写指令记录下来，在下次redis重新启动时，只要把这些写指令从前到后再重复执行一遍，就可以实现数据恢复了。
特点:
1.实时性
2.完整性较好
体积大 #记录数据的指令，删除数据的指令都会被记录下来。

RDB和AOF两种方式也可以同时使用，在这种情况下，如果redis重启的话，则会优先采用AOF方式来进行数据恢复，这是因为AOF方式的数据恢复完整度更高。

如何选择方式？
缓存：不用开启任何持久方式
双开:因RDB数据不实时，但同时使用两者时服务器只会找AOF文件,所以RDB留作以防万一的手段。
官方的建议是两个同时使用。这样可以提供更可靠的持久化方案。
写入速度快 ------------AOF
写入速度慢 ------------RDB

3.3.1RDB进行数据持久化

RDB 功能默认是开启的
1.配置文件修改：

++++

++++

++++

++++

2.重启
开启持久化功能后，重启redis后，数据会自动通过持久化文件恢复
systemctl restart redis.server

3.验证
找台机器 也安装上redis，然后把备份数据库发送过去，看数据是否能恢复，备份是否成功
恢复的机器里的redis配置文件设置：
和备份的机器配置一样，修改备份文件存储位置即可，其他一样（略）

接下来，我们在备份的机器里的数据库里创建一些数据：

++++

再把备份的文件发给另一台机器，

++++

另一台机器就收到了
重启一下，打开数据库 一定要重启redis！！！
再次打开数据库redis：

3.3.2主从配置

主从同步原理：
主从 – 同步原理
从服务器会向主服务器发出SYNC指令，当主服务器接到此命令后，就会调用BGSAVE指令来创建一个子进程专门进行数据持久化工作，也就是将主服务器的数据写入RDB文件中。在数据持久化期间，主服务器将执行的写指令都缓存在内存中。
在BGSAVE指令执行完成后，主服务器会将持久化好的RDB文件发送给从服务器，从服务器接到此文件后会将其存储到磁盘上，然后再将其读取到内存中。这个动作完成后，主服务器会将这段时间缓存的写指令再以redis协议的格式发送给从服务器。

另外，要说的一点是，即使有多个从服务器同时发来SYNC指令，主服务器也只会执行一次BGSAVE，然后把持久化好的RDB文件发给多个从服务器。

而在2.8版本之后，redis支持了效率更高的增量同步策略，这大大降低了连接断开的恢复成本。主服务器会在内存中维护一个缓冲区，缓冲区中存储着将要发给从服务器的内容。从服务器在与主服务器出现网络瞬断之后，从服务器会尝试再次与主服务器连接，一旦连接成功，主服务器就会向从服务器发送增量内容。

增量同步功能，需要服务器端支持全新的PSYNC指令。这个指令，只有在redis-2.8之后才具有。

1设置主服务器
vim redis.conf

重启redis服务
2.设置从服务器
vim redis.conf

++++

修改完成后重启redis服务
3.测试
在主服务上修改数据库，观察从服务器

++++

这就是主从服务器设置

3.3.3哨兵模式

1.修改配置文件
每台机器上修改redis主配置文件redis.conf文件设置：bind 0.0.0.0
2.每台机器上修改sentinel.conf

++++

++++

3.启动哨兵服务
./src/redis-sentinel sentinel.conf &
把主服务器上的redis服务器关掉
在从服务器上查看：