目录:
一、简介
二、memcached
1、特点
2、服务框架
3、配置安装
三 、redis服务
1、介绍
2、安装redis
3、数据持久化
一、简介
为弥补关系型数据库的不足,各种各样的NoSQL数据库应运而生。
1.1、nosql产品: redis,mongodb,memcached.
NOSQL名词解释:非关系型数据库:
1.以键值对的方式存储数据---(Key-Value)的形式
2.缓存数据库
1.2、NoSQL的优点/缺点
优点:
- 高可扩展性
- 分布式计算
- 低成本
- 架构的灵活性,半结构化数据
- 没有复杂的关系
缺点:
- 没有标准化
- 有限的查询功能(到目前为止)
- 最终一致是不直观的程序缓存服务器作用: 加快访问速度 ,缓解数据库压力
1.3、关系型数据库与非关系型数据库的区别:
①.SQL Server| 2.Oracle|3.mysql 等。
=====================================================================
1.关系型数据库:
优点:
1、易于维护:都是使用表结构,格式一致;
2、使用方便:SQL语言通用,可用于复杂查询;
3、复杂操作:支持SQL,可用于一个表以及多个表之间非常复杂的查询。
缺点:
1、读写性能比较差,尤其是海量数据的高效率读写;
2、固定的表结构,灵活度稍欠;
3、高并发读写需求,传统关系型数据库来说,硬盘I/O是一个很大的瓶颈。
=============================================================================
②.非关系型数据库严格上不是一种数据库,应该是一种数据结构化存储方法的集合,可以是文档或者键值对等。
优点:
1、格式灵活:存储数据的格式可以是key,value形式、文档形式、图片形式等等,文档形式、图片形式等等,使用灵活,应用场景广泛,而关系型数据库则只支持基础类型。
2、速度快:nosql可以使用硬盘或者随机存储器作为载体,而关系型数据库只能使用硬盘;
3、高扩展性;
4、成本低:nosql数据库部署简单,基本都是开源软件。
缺点:
1、不提供sql支持,学习和使用成本较高;
2、无事务处理;
3、数据结构相对复杂,复杂查询方面稍欠。
二、memcached
2.1、特点
1.内置内存存储方式-----------为了提高性能,memcached中保存的数据都存储在memcache内置的内存存储空间中。由于数据仅存在于内存中,重启操作系统会导致全部数据消失
2.简单key/value存储---------------服务器不关心数据本身的意义及结构,只要是可序列化数据即可。存储项由“键、过期时间、可选的标志及数据”四个部分组成;
3.不互相通信的分布式 ------------- memcached尽管是“分布式”缓存服务器,但服务器端并没有分布式功能。 各个memcached不会互相通信以共享信息。那么,怎样进行分布式呢? 这完全取决于客户端的实现。
2.2、服务框架
原理:
1、检查客户端的请求数据是否在memcached中,如有,直接把请求数据返回,不再对数据库进行任何操作,路径操作为①②③⑦。 2、如果请求的数据不在memcached中,就去查数据库,把从数据库中获取的数据返回给客户端,同时把数据缓存一份到memcached中(memcached客户端不负责,需要程序明确实现),路径操作为①②④⑤⑦⑥。
3.保持缓存的“新鲜性”,每当数据发生变化的时候(比如,数据有被修改,或被删除的情况下),要同步的更新缓存信息,确保用户不会在缓存取到旧的数据。
2.3、配置安装Memcached
memcached能存放多少数据,取决于服务器本身的内存有多大。
[root@memcached ~]# yum install memcached -y [root@memcached ~]# systemctl start memcached #启动 2.修改配置文件 [root@memcached ~]# cat /etc/sysconfig/memcached PORT="11211" # 监听端口 USER="memcached" # 用户 MAXCONN="1024" # 最大并发数 CACHESIZE="64" # 分配内存大小 OPTIONS="" # 监听网络地址 然后把ip地址发给开发人员,开发的会使用api接口连接memcached. 测试: [root@memcached ~]# yum install -y telnet #安装telent [root@memcached ~]# telnet 192.168.246.188 11211 Trying 192.168.246.188... Connected to 192.168.246.188. Escape character is '^]'. set name 0 60 7 #设置名称为name的key newrain #给name的值 STORED #出现stored表示已经存储成功。 get name #查询key值 VALUE name 0 7 newrain END 参数解释: name:key的名字 自己定义 0:key的id号,需要和其他的key不一样 60:缓存过期时间,单位为秒,0为永远 7:字符串最大长度
三、Redis服务
3.1、介绍
redis是一个开源的、使用C语言编写的、支持网络交互的、可基于内存也可持久化的Key-Value数据库
redis的官网:redis.io 注:域名后缀io属于国家域名,是british Indian Ocean territory,即英属印度洋领地
3.1.1、redis的特点
1.丰富的数据结构 -----string,list,set,zset,hash等数据结构的存储
2.支持持久化
3.支持事务 ---------------事务是指“一个完整的动作,要么全部执行,要么什么也没有做”。
4.支持主从3.1.2、缓存
1.类型
1).数据缓存
2).页面缓存(Smarty)
在开发网站的时候如果有一些数据在短时间之内不会发生变化,而它们还要被频繁访问,为了提高用户的请求速度和降低网站的负载,就把这些数据放到一个读取速度更快的介质上(或者是通过较少的计算量就可以获得该数据) ,该行为就称作对该数据的缓存。
该介质可以是文件、数据库、内存,内存经常用于数据缓存2.形式
页面缓存经常用在内存管理系统里边
数据缓存经常用在页面的具体数据里边redis和memcache比较
1).Redis不仅仅支持简单的k/v类型的数据,同时还提供了list,set,zset,hash等数据结构的存储
2).Redis支持master-slave(主-从)模式应用
3).Redis支持数据的持久化3.2、安装redis
3.2.1、安装单机版的redis
[root@redis-master ~]# mkdir -p /data/application ---创建工作目录 [root@redis-master ~]# wget http://download.redis.io/releases/redis-5.0.10.tar.gz ---下载redis [root@redis-master ~]# tar xzf redis-5.0.10.tar.gz -C /data/application/ ---解压 [root@redis-master ~]# cd /data/application/ [root@redis-master application]# mv redis-5.0.10/ redis [root@redis-master application]# cd redis/ [root@redis-master redis]# yum install -y gcc make #安装编译工具 [root@redis-master redis]# make 注:如果报错请将刚才解压的安装包删除掉,再次重新解压并进行make安装即可。 [root@redis-master redis]# cp redis.conf redis.conf.bak [root@redis-master redis]# vim redis.conf ---修改如下 bind 192.168.246.202 #只监听内网IP daemonize yes #开启后台模式将on改为yes timeout 300 #连接超时时间 port 6379 #端口号 dir /data/application/redis/data #本地数据库存放持久化数据的目录该目录-----需要存在 pidfile /var/run/redis_6379.pid #定义pid文件 logfile /var/log/redis.log #定义log文件 创建存放数据的目录 [root@redis-master redis]# mkdir /data/application/redis/data 配置redis为systemctl启动 [root@redis-master redis]# cd /lib/systemd/system [root@redis-master system]# vim redis.service [Unit] Description=Redis After=network.target [Service] ExecStart=/data/application/redis/src/redis-server /data/application/redis/redis.conf --daemonize no ExecStop=/data/application/redis/src/redis-cli -h 127.0.0.1 -p 6379 shutdown [Install] WantedBy=multi-user.target ===================== 参数详解: • [Unit] 表示这是基础信息 • Description 是描述 • After 是在那个服务后面启动,一般是网络服务启动后启动 • [Service] 表示这里是服务信息 • ExecStart 是启动服务的命令 • ExecStop 是停止服务的指令 • [Install] 表示这是是安装相关信息 • WantedBy 是以哪种方式启动:multi-user.target表明当系统以多用户方式(默认的运行级别)启动时,这个服务需要被自动运行。 =================== 启动服务: [root@redis-master system]# systemctl daemon-reload [root@redis-master system]# systemctl start redis.service
登陆redis [root@redis-master system]# cd /data/application/redis/src/ [root@redis-master src]# ./redis-cli -h 192.168.246.202 -p 6379 192.168.246.202:6379> ping ---测试redis是否可以用 PONG 192.168.246.202:6379> set name newrain #设置key--name,并设置值OK 192.168.246.202:6379> get name #获取到key"newrain"192.168.246.202:6379>单机版redis已经部署完成。将ip和端口发给开发就可以了。
3.2.2、redis的相关工具
./redis-benchmark #用于进行redis性能测试的工具
./redis-check-dump #用于修复出问题的dump.rdb文件
./redis-cli #redis的客户端
./redis-server #redis的服务端
./redis-check-aof #用于修复出问题的AOF文件
./redis-sentinel #用于集群管理3.3、数据持久化
开启持久化功能后,重启redis,数据会自动通过持久化文件恢复!!
持久化的两种方式
一、redis提供了两种持久化的方式,分别是RDB(Redis DataBase)和AOF(Append Only File)。
RDB(Redis DataBase):是在不同的时间点,将redis存储的数据生成快照并存储到磁盘等介质上;
特点:
1.周期性
2.不影响数据写入 #RDB会启动子进程,备份所有数据。当前进程,继续提供数据的读写。当备份完成,才替换老的备份文件。
3.高效 #一次性还原所有数据
4.完整性较差 #故障点到上一次备份,之间的数据无法恢复。
====================================================================================
AOF(Append Only File)则是换了一个角度来实现持久化,那就是将redis执行过的所有写指令记录下来,在下次redis重新启动时,只要把这些写指令从前到后再重复执行一遍,就可以实现数据恢复了。
特点:
1.实时性
2.完整性较好
3.体积大 #记录数据的指令,删除数据的指令都会被记录下来。
====================================================================================
二、RDB和AOF两种方式也可以同时使用,在这种情况下,如果redis重启的话,则会优先采用AOF方式来进行数据恢复,这是因为AOF方式的数据恢复完整度更高。
如果你没有数据持久化的需求,也完全可以关闭RDB和AOF方式,这样的话,redis将变成一个纯内存数据库,就像memcache一样。
三、如何选择方式?
缓存:不用开启任何持久方式
双开:因RDB数据不实时,但同时使用两者时服务器只会找AOF文件,所以RDB留作万一的手段。
redis持久化 – 如何选择RDB和AOF
对于我们应该选择RDB还是AOF,官方的建议是两个同时使用。这样可以提供更可靠的持久化方案。
写入速度快 ------------AOF
写入速度慢 ------------RDB3.4、持久化配置
1、RDB默认开启: [root@redis-master src]# cd .. [root@redis-master redis]# vim redis.conf #dbfilename:持久化数据存储在本地的文件 dbfilename dump.rdb #dir:持久化数据存储在本地的路径 dir /data/application/redis/data ##snapshot触发的时机,save <seconds> <changes> ##如下为900秒后,至少有一个变更操作,才会snapshot ##对于此值的设置,需要谨慎,评估系统的变更操作密集程度 ##可以通过“save “”来关闭snapshot功能 #save时间,以下分别表示更改了1个key时间隔900s进行持久化存储;更改了10个key300s进行存储;更改10000个key60s进行存储。 save 900 1 save 300 10 save 60 10000 ##当snapshot时出现错误无法继续时,是否阻塞客户端“变更操作”,“错误”可能因为磁盘已满/磁盘故障/OS级别异常等 stop-writes-on-bgsave-error yes ##是否启用rdb文件压缩,默认为“yes”,压缩往往意味着“额外的cpu消耗”,同时也意味这较小的文件尺寸以及较短的网络传输时间 rdbcompression yes 2、客户端使用命令进行持久化save存储: 方式一 [root@redis-master src]# ./redis-cli -h 192.168.246.202 -p 6379 save #前台进行存储 OK 方式二 ./redis-cli -h ip -p port bgsave #后台进行存储 注意:每次快照持久化都是将内存数据完整写入到磁盘一次,并不是增量的只同步新数据。如果数据量大的话,而且写操作比较多,必然会引起大量的磁盘io操作,可能会严重影响性能。 save方式:持久化前面的所有数据(rdb模式没开时,后续的数据不会进行备份) 3、AOF默认关闭--开启 [root@redis-master src]# cd .. [root@redis-master redis]# vim redis.conf 修改如下:
1、此选项为aof功能的开关,默认为“no”,可以通过“yes”来开启aof功能,只有在“yes”下,aof重写/文件同步等特性才会生效
2、指定aof文件名称
appendfilename appendonly.aof
3、指定aof操作中文件同步策略,有三个合法值:always everysec no,默认为everysec
appendfsync everysec
4、在aof-rewrite期间,appendfsync是否暂缓文件同步,"no"表示“不暂缓”,“yes”表示“暂缓”,默认为“no”
no-appendfsync-on-rewrite no
5、触发aof rewrite的最小文件尺寸
auto-aof-rewrite-min-size 64mb
6、当Aof log增长超过指定比例时,重写log file, 设置为0表示不自动重写Aof 日志,重写是为了使aof体积保持最小,而确保保存最完整的数据。
auto-aof-rewrite-percentage 100
修改完配置文件后重启生效