目录
一、关系型数据库与非关系型数据库
1、关系型数据库
关系数据库是一个结构化的数据库,创建在关系模型(二维表格模型)基础上,一般面向记录。
SQL语句(标准数据查询语言)就是一种基于关系型数据库的语言,用于执行关系型数据库中数据的检索和操作。
- 主流的关系型数据库包括:oracle、mysql、sqlserver、Microsoft access、db2等
优点
- 易于维护: 都是使用表结构,格式一致
- 使用方便: sql语言通用,可用于复杂查询
- 支持复杂操作, 支持sql,可用于一个表以及多个表之间非常复杂的查询
缺点
- 读写性能比较差, 尤其是海量数据的高效读写
- 固定的表结构, 灵活度差
- 数据存储在磁盘, 高并发读写容易遇到瓶颈
2、非关系型数据库
NoSQL(NoSQL = Not Only SQL),表示为不仅仅是SQL,是非关系型数据库的总称,除了主流的关系型数据库外的数据库,都认为是非关系型。
- 主流的NoSQL数据库有Redis、MongoDB、Hbase、CouhDB等
二、关系型数据库和非关系型数据库的区别
主要区别分为三种:①数据存储的格式不同,②扩展方式不同,③对事物的处理不同
1、数据存储格式不同
关系型和非关系型数据库的主要差异是数据存储的方式,关系型数据天然就是表格式的,因此存储在数据表的行和列中。数据表可以彼此关联协作存储,也很容易提取数据。
与之相反,非关系型数据库不适合存储在数据表的行和列中,而是大块组合在一起。非关系型数据库通常存储在数据集中,就像文档、键值对或者图结构。数据及其特性是选择数据存储和提取方式的首要影响因素。
① 关系型:依赖性于关系模型E-R图,同时以二维表格式的方式存储数据
② 非关系型:除了以表格形式存储之外,通常会以大块的形式组合在一起进行存储数据
2、扩展方式不同
SQL和NoSQL数据库最大的差别可能是在扩展方式上,要支持日益增长的需求当然要扩展。
要支持更多并发量,SQL数据库是纵向扩展。也就是说提高处理能力,使用速度更快的计算机,这样处理相同的数据集就更快了。因为数据存储在关系表中,操作的性能瓶颈可能涉及到很多个表,这都需要通过计算机性能来克服。虽然SQL数据库有很大扩展空间,但最终肯定会达到纵向扩展的上限。
NoSQL数据库是横向扩展。因为非关系数据存储天然就是分布式的,NoSQL数据库的扩展可以通过给资源池添加更多普通的数据库服务器(节点)来分担负载。
① 关系型数据库:纵向(天然表格式)
② 非关系型数据库:横向(天然分布式)
3、对事务的支持不同
如果数据操作需要高事务性或者数据查询需要控制执行计划,那么传统的SQL数据库从性能和稳定方面考虑是你最佳选择, SQL数据库支持对事务(ACID)原子性细粒度控制。并且易于回滚事务。
虽然NoSQL数据库也可以使用事务操作,但稳定方面没法和关系型数据库比较所以真正的优势还是在于扩展性和大数据量处理方面。
① 关系型数据库:特别适合高事务性要求和需要控制执行计划的任务
② 非关系型数据库:此处会稍显弱势,其价值点在于高扩展性和大数据量处理方面
三、非关系型数据库产生背景
可用于应对Web2.0纯动态网站类型的三高问题。(高并发、高效存储、高扩展高、高可用)
- High performance ———— 对数据库高并发读写需求
- HugeStorage ———— 对海量数据高效存储与访问需求
- High Scalability && High Availability ———— 对数据库高可扩展性与高可用性需求
关系型数据库和非关系型数据库都有各自的特点与应用场景,两者的紧密结合将会给Web2.0的数据库发展带来新的思路。让关系数据库关注在关系上,非关系型数据库关注在存储上。例如,在读写分离的MySQL数据库环境中,可以把经常访问的数据存储在非关系型数据库中,提升访问速度。
典型用法:
mysql 高热数据 ——》redis
web ——》redis ——》mysql(常规用法,但是云上不常用。因为redis更像中间件,因为市场行情)
PS:中间件例如:nginx、tomcat(偏向于应用服务器,但是也能是中间件)、redis(非关系型数据库)
总结:
关系型数据库:以二维表形式存储
实例(节点)——》数据库 ——》表(table)——》记录航(row)——》数据字段(column)——》存储数据
非关系型数据库:存储形式更加丰富
实例(节点) ——》数据库 ——》集合(collection)——》键值对(key-value)
非关系型数据库
数据保存在缓存中,利于读取速度和查询数据
架构中位置灵活
分布式、扩展性高
关系型数据库
安全性高(持久化)
事务处理能力强(非关系数据库不能处理事务)
任务控制能力强
可以做日志备份、恢复、容灾的能力
四、Redis简介
Redis 是一个开源的,使用C语言编写的NoSQL数据库。
Redis基于内存运行并支持持久化,采用key-balues(键值对)的存储形式,是目前分布架构中不可或缺的一环。
Redis服务器程序是单进程模型(主进程)
Redis服务在一台服务器上可以同时启动多个Redis进程,Redis的实际处理速度则是完全依靠主进程的执行效率。若在服务器上只运行一个Redis进程,当多个客户端同时访问时,服务器的处理能力是会有一定程度的下降,若在同一台服务器上开启多个Redis进程,Redis在提高并发处理能力的同时会给服务器的CPU造成很大压力。
即:在实际生产环境中,需要根据实际的需求来决定开启多少个Redis进程,若对高并发要求更高一些,可能会考虑在同一台服务器上开启多个进程,若CPU资源比较紧张,采用单进程即可。
1、Redis的单线程模式
Redis服务器程序是单进程模型,也就是在一台服务器上可以同时启动多个Redis进程。Redis 实际处理速度则是完全依靠于主进程的执行效率。
若在服务器上只运行一个Redis进程,当多个客户端同时访问时,服务器的处理能力会有一定程度的下降。
若在同一台服务器上开启多个Redis进程,Redis在提高并发处理能力的同时会服务器的CPU造成很大压力。
在实际生产环境中,需要根据实际的需求来决定开启多少个Redis进程,若对高并发要求更高一些,可能会考虑在同一台服务器上开启多个进程,若CPU资源紧张,采用单线程即可。
2 、Redis优点
①具有极高的数据读写速度: 数据读取的速度最高可达到110000次/s,数据写入速度最高可达到81000次/s。(会被机器本身性能和数据类型包括网速影响)
②支持丰富的数据类型 ,支持key-values(键值对)、string(字符串)、lists列表、hashes散列值、sets(有序集合) 及 ordered sets(无需集合)等数据类型操作。
③支持数据的持久化: 可以将内存中的数据保存在磁盘中,重启的时候可以再次加载进行使用。
④原子性: redis所有操作都是原子性的。
⑤支持数据备份: 即master-salve模式的数据备份。
⑥分布式
⑦默认使用epoll + i/o 多路复用来提高并发能力。
Redis作为基于内存运行的数据库,缓存是其最常用的场景之一。除次之外,redis常见应用场景还包括获取最近N个数据的操作、排行榜类应用、计数器、存储关系、实时分析系统、日志记录。
3、Redis的缺点
数据容量受到物理内存的限制,不能用于海量数据的高性能读写,因此Redis适合的场景主要局限在较小数据量的高性能操作和运算上。
4、Redis为什么这么快
- Redis是一款纯内存结构,避免了磁盘I/O等耗时操作。
- Redis命令处理的核心模块为单线程,减少了锁竞争,以及频繁创建线程和销毁线程的代价,减少了线程上下文切换的消耗。
- 采用了I/O多路复用机制,大大提升了并发效率。
白话:以前一对一、现在一对多
PS:在Redis 6.0中新增加的多线程也只是针对处理网络请求采用了多线程,而数据的读写命令,仍然是单线程处理的。
首先,Redis是跑在单进程中的,所有的操作都是按照顺序线性执行的,但是由于读写操作等待用户输入或输出都是阻塞的,而I/O多路复用就是为了解决这个问题而出现的。
epoll机制优势:
① epoll没有最大并发连接的限制,上限是最大可以打开文件的数目,这个数字一般远大于2048,一般来说这个数目和关系内存关系很大,具体数目可以 cat /proc/sys//fs/file-max 察看
② 效率提高,epoll最大的优点就在于它只管你“活跃”的连接,而跟连接总数无关,因此在实际的网络环境中,epoll的效率就会远远高于 select 和 poll 。
③ 内存拷贝,epoll在这点上使用量“共享内存”,这个内存拷贝也省略了
I/O多路复用就通过一种机制,可以监视多个描述符,一旦某个描述符就绪,能够通知程序进行相应的操作。
epoll模型所实现的I/O多路复用可以定义为:
socket池(socket1,soceket2......)——》I/O多路复用程序——》文件时间分派器(从队列中获取,在分发给对应处理器)——》命令处理、请求、连接应答等处理器
多个socket:
会定义一个fd文件描述符(每有一个新建、打开、修改等“事件”内核就会返回一个fd(可以理解为索引)),在每个fd激活时,会进行内核中的回调函数
I/O多路复用程序会监听socket活跃的连接,然后调用该socket(而此socket文件句柄主要实现的是网络上的“ip+pork+协议所标识的网络中的‘进程’”)可以简单理解为虚拟网络接口(抽象层)
本质而言就是使用一个线程来追踪多个socket(I/O流)的状态,来管理多个I/O
I/O复用:一个线程同时追踪、管理多个连接(原本默认情况下是一个线程对应一个连接)
回调:预先定义具体的执行过程(定义一个方法),等待调用,在一个线程给执行时,可以根据“触发器”“钩子”完成回调,回调的目的是提高处理性能和节省资源
五、Redis安装部署
systemctl stop firewalld
setenforce 0
#关闭防火墙
yum install -y gcc gcc-c++ make
#安装依赖环境
tar zxvf redis-5.0.7.tar.gz -C /opt/
#将redis包进行解压
cd /opt/redis-5.0.7/
make
make PREFIX=/usr/local/redis install
#进行编译安装
路径位置 描述
port :6379 默认侦听端口6379
config file :/etc/redis/6379.conf 配置文件路径
Log file :/var/log/redis_6379.log 日志文件路径
Executable :/usr/local/redis/bin/redis-server 可执行文件路径
Cli Executable :/usr/local/bin/redis-cli 客户端命令工具
ln -s /usr/local/redis/bin/ * /usr/local/bin
/etc/init.d/redis_6379 stop #停止
/etc/init.d/redis_6379 start #启动
/etc/init.d/redis_6379 restart #重启
/etc/init.d/redis_6379 status #状态
上图中软链接有误,应该在*与/usr/local/redis/bin/之间多了空格
vim /etc/redis/6379.conf
bind 127.0.0.1 192.168.62.50
#70行,添加 监听的主机地址
port 6379
#93行,Redis默认的监听端口
daemonize yes
#137行,启用守护进程
pidfile /var/run/redis_6379.pid
#159行,指定 PID 文件
loglevel notice
#167行,日志级别
logfile /var/log/redis_6379.log
#172行,指定日志文件
/etc/init.d/redis_6379 restart
#重启redis
六、Redis命令工具
redis-server 用于启动 Redis 的工具
redis-benchmark 用于检测 Redis 在本机的运行效率
redis-check-aof 修复 AOF 持久化文件
redis-check-rdb 修复 RDB 持久化文件
redis-cli Redis命令行工具
1、redis-cli命令行工具
语法:
redis-cil -h [host] -p [port] -a [password]
-h | 指定远程主机 |
---|---|
-p | 指定 Redis 服务的端口号 |
-a | 指定密码,未设置数据库密码可以省略-a 选项 |
若不添加任何选项表示,则使用127.0.0.1:6379连接本机上额Redis数据库
redis-cil -h 192.168.62.50 -p 6379
此时不需要密码,不需要-a直接登陆
2、redis-benchmark测试
redis-benchmark是官方自带对的Redis性能测试工具,可以有效的测试Redis服务的性能
基本的测试语法
redis-benchmark [选项] [选项值]
参数 说明
-h 指定服务器主机名。
-p 指定服务器端口。
-s 指定服务器 socket
-c 指定并发连接数。
-n 指定请求数。
-d 以字节的形式指定 SET/GET 值的数据大小。
-k 1=keep alive 0=reconnect
-r SET/GET/INCR 使用随机 key, SADD 使用随机值
-P 通过管道传输请求
-q 强制退出 redis。仅显示 query/sec 值。
-csv 以 CSV 格式输出
-l 生成循环,永久执行测试
-t 仅运行以逗号分隔的测试命令列表
-I Idle 模式。仅打开 N 个 idle 连接并等待
发送并发连接和请求测试性能
向IP地址为192.168.62.50端口为6379的Redis服务器发送100个并发连接与100000个请求测试性能
redis-benchmark -h 192.168.62.50 -p 6379 -c 100 -n 100000
测试数据包的性能
试存取大小为100字节的数据包的性能
redis-benchmark -h 192.168.62.50 -p 6379 -q -d 100
测试本机上Redis服务在进行set与lpush操作时的性能
redis-benchmark -t set,lpush -n 100000 -q
3、Redis数据库常用命令
set 存放数据,命令格式为set key value
get 获取数据,命令格式为get key
keys 命令可以取符合规则的键值列表,通常情况可以结合*、?等选项来使用
exists 命令可以判断键值是否存在
del 命令可以删除当前数据库的指定key
type 命令可以获取key对应的value值类型
① 存放、获取数据
例:
redis-cli -p 6379
set sb lcdb
get sb
set h1 1
set h2 2
set h3 3
set a1 4
set a2 5
set a3 6
② 查看以什么开头的键
keys *
keys h*
keys a?
keys a??
③ 删除数据
keys *
del a3
keys *
④ 判断数据是否存在
exists可以判断键是是否存在,1表示存在,0表示不存在
exists sb
exists school
⑤ 重命名rename(覆盖)
使用rename命令进行重命名时,无论目标key是否存在都进行重命名,且源key的值会覆盖目标key的值。在实际使用过程中,建议先用 exists 命令查看目标 key 是否存在,然后再决定是否执行 rename 命令,以避免覆盖重要数据。
rename 命令是对已有 key 进行重命名。(覆盖)
命令格式:rename 源key 目标key
⑥ 对已有key进行重命名 -renamenx (不覆盖)
renamenx 命令的作用是对已有key进行重命名,并检测新名是否存在,如果目标key存在则不进行重命名。(不覆盖)
#命令格式:
renamenx 源key 目标key
⑦ 查看当前数据库中key的数目—dbsize命令
⑧ type获取值类型
String数据类型
String是redis最基本的类型,最大能存储512MB的数据,String类型是二进制安全的,即可以存储任何数据、比如数字、图片、序列化对象等
List数据类型
列表的元素类型为string,按照插入顺序排序,在列表的头部或尾部添加元素
Hash数据类型(散列类型)
hash用于存储对象。可以采用这样的命名方式:对象类别和ID构成键名,使用字段表示对象的属性,而字段值则存储属性值。 如:存储 ID 为 2 的汽车对象。
如果Hash中包含很少的字段,那么该类型的数据也将仅占用很少的磁盘空间。每一个Hash可以存储4294967295个键值对。
Set数据类型(无序集合)
无序集合,元素类型为String类型,元素具有唯一性,不允许存在重复的成员。多个集合类型之间可以进行并集、交集和差集运算。
应用范围:
1.可以使用Redis的Set数据类型跟踪一些唯一性数据,比如访问某一博客的唯一IP地址信息。对于此场景,我们仅需在每次访问该博客时将访问者的IP存入Redis中,Set数据类型会自动保证IP地址的唯一性。
2.充分利用Set类型的服务端聚合操作方便、高效的特性,可以用于维护数据对象之间的关联关系。比如所有购买某一电子设备的客户ID被存储在一个指定的Set中,而购买另外一种电子产品的客户ID被存储在另外一个Set中,如果此时我们想获取有哪些客户同时购买了这两种商品时,Set的intersections命令就可以充分发挥它的方便和效率的优势了。
Sorted Set数据类型(zset、有序集合)
a、有序集合,元素类型为Sting,元素具有唯一性,不能重复。
b、每个元素都会关联一个double类型的分数score(表示权重),可以通过权重的大小排序,元素的score可以相同。
应用范围:
1)可以用于一个大型在线游戏的积分排行榜。每当玩家的分数发生变化时,可以执行ZADD命令更新玩家的分数,此后再通过ZRANGE命令获取积分TOP10的用户信息。当然我们也可以利用ZRANK命令通过username来获取玩家的排行信息。最后我们将组合使用ZRANGE和ZRANK命令快速的获取和某个玩家积分相近的其他用户的信息。
2)Sorted-Set类型还可用于构建索引数据。
⑨ 设置密码
#使用config set requi repass yourpassword 命令设置密码
127.0.0.1:6379> config set requirepass 123456
#使用config get requi repass命令查看密码(一旦设置密码,必须先验证通过密码,否则所有操作不可用)
127.0.0.1:6379> config get requirepass
(error) NOAUTH Authentication required.
127.0.0.1:6379> auth 123456
OK
127.0.0.1:6379> config get requirepass
1) "requirepass"
2) "123456"
⑩ 删除密码
127.0.0.1:6379> config set requirepass ''
#以上不设置,无法重启redis
4、Redis多数据库常用命令(0-15)
① 多数据库间切换
命令格式: select 序号
使用redis-cli连接Redis数据库后,默认使用的是序号为0的数据库。
select 1 #切换至序号为1的数据库
select 9 #切换至序号为9的数据库
select 0 #切换至序号为0的数据库
② 多数据库间移动数据
格式:move 键值 序号
127.0.0.1:6379> set jn 9527
OK
127.0.0.1:6379> get jn
"9527"
127.0.0.1:6379> select 1
OK
127.0.0.1:6379[1]> get jn
(nil)
127.0.0.1:6379[1]> select 0
OK
127.0.0.1:6379> move jn 1
(integer) 1
127.0.0.1:6379> select 1
OK
127.0.0.1:6379[1]> get jn
"9527"
127.0.0.1:6379[1]> select 0
OK
127.0.0.1:6379> get jn
(nil)
127.0.0.1:6379>
③ 清除数据库内数据
FLUSHDB:清空当前数据库数据
FLUSHALL :清空所有数据库的数据,慎用!
④ redis远程数据备份(全量、增量)
是以shell脚本的形式
redis_backup.sh
#!/bin/bash
TIME=$
BCDIR=
redis_server=
port
psword
五、总结
本章主要讲了关系型数据库和非关系型数据库的区别,以及Redis简介、部署安装、操作命令的基本使用。
数据库
关系型数据库:实例–>数据库–>表(table)–>记录行(row)、数据字段(column) 非关系型数据库:实例–>数据库–>集合(collection) -->键值对(key-value) 非关系型数据库不需要手动建数据库和集合(表)
redis测试工具
- Redis命令工具中的 rdb 和 aof 是redis服务中持久化功能的两种形式!
- redis-cli命令行工具(远程登录)
- redis-benchmark 测试工具(有效的测试 Redis 服务的性能)
redis数据库命令
- set 、get和del :存放、获取和删除数据
- keys:获取key,可以结合通配符 * 和 ?
- exists和type:判断key是否存在和判断类型
- rename和renamenx:重命名的两种,后者会进行判断,存在则不改
- dbsize:查看当前数据库中key的数目
Redis多数据库常用命令
- select 序号 :切换库名(16个数据库,数据库名称是用数字0-15)
- move 键值 序号:多数据库间移动数据
- FLUSHDB :清空当前数据库数据
- FLUSHALL :清空所有数据库的数据,慎用!