目录
向IP地址为192.168.114.200、端口为6379 的Redis 服务器发送100个并发连接与100000 个请求测试性能
测试本机上Redis 服务在进行set与lpush操作时的性能
一、关系型数据库与非关系型数据库
1.1 关系型数据库
- 关系型数据库是一个结构化的数据库,创建在关系模型(二维表格模型)基础上,一般面向于记录。
- SQL语句(标准数据查询语言)就是一种基于关系型数据库的语言,用于执行对关系型数据库中数据的检索和操作。
- 主流的关系型数据库包括Oracle、 MySQL、SQL Server、Microsoft Access、 DB2、PostgreSQL 等。
以上数据库在使用的时候必须先建库建表设计表结构,然后存储数据的时候按表结构去存,如果数据与表结构不匹配就会存储失败。
1.2 非关系型数据库
- NoSQL(NoSQL=NotonlysQL),意思是“不仅仅是SQL",是非关系型数据库的总称。
- 除了主流的关系型数据库外的数据库,都认为是非关系型。
- 不需要预先建库建表定义数据存储表结构,每条记录可以有不同的数据类型和字段个数(比如微信群聊里的文字、图片、视频、音乐等)。
- 主流的NOSQL 数据库有Redis、MongBD、 Hbase(分布式非关系型数据库,大数据使用)、Memcached、ElasticSearch(简称ES,索引型数据库)、TSDB(时续型数据库) 等。
1.3 关系数据库与非关系型数据库区别
数据存储方式不同
关系型和非关系型数据库的主要差异是数据存储的方式。
- 关系型数据天然就是表格式的,因此存储在数据表的行和列中。数据表可以彼此关联协作存储,也很容易提取数据。
- 与其相反,非关系型数据不适合存储在数据表的行和列中,而是大块组合在一起。非关系型数据通常存储在数据集中,就像文档、键值对或者图结构。你的数据及其特性是选择数据存储和提取方式的首要影响因素。(很容易切换数据类型,一个数据集当中有多种数据类型)
扩展方式不同
SQL和NoSQL数据库最大的差别可能是在扩展方式上,要支持日益增长的需求当然要扩展。
- 要支持更多并发量,SQL数据库是纵向扩展,也就是说提高处理能力,使用速度更快速的计算机,这样处理相同的数据集就更快了。因为数据存储在关系表中,操作的性能瓶颈可能涉及很多个表,这都需要通过提高计算机性能来克服。虽然SQI数据库有很大打展空间,但最终肯定会达到纵向扩展的上限。(数据一般存储在本地的文件系统中。读可以通过读写分离、负载均衡来分摊性能,但读写仍然很消耗IO性能)
- 而NoSQL数据库是横向扩展的。因为非关系型数据存储天然就是分布式的,NoSQL数据库的扩展可以通过给资源池添加更多普通的数据库服务器(节点)来分担负载。(数据分布存储在不同服务器上,可以并发地读写,加快效率)
对事务性的支持不同
- 如果数据操作需要高事务性或者复杂数据查询需要控制执行计划,那么传统的SQL数据库从性能和稳定性方面考虑是你的最佳选择。SQL数据库支持对事务原子性细粒度控制,并且易于回滚事务。
- 虽然NoSQL数据库也可以使用事务操作,但稳定性方面没法和关系型数据库比较,所以它们真正闪亮的价值是在操作的扩展性和大数据量处理方面。
- 非关系型数据库在事务的处理和稳定性方面,不如关系型数据库。但读写性能好、易于扩展,处理大数据方面占优势。
关系型数据库:特别适合高事务性要求和需要控制执行计划的任务,事务细粒度控制更好。
非关系型数据库:事务控制会稍显弱势,其价值点在于高扩展性和大数据量处理方面。
1.4 非关系型数据库产生背景
可用于应对Web2.0纯动态网站类型的三高问题。
(1)High performance —— 对数据库高并发读写需求。
(2)Hugestorage——对海量数据高效存储与访问需求。
(3)HighScalability&&HighAvailability——对数据库高可扩展性与高可用性需求。
关系型数据库和非关系型数据库都有各自的特点与应用场景,两者的紧密结合将会给web2.0的数据库发展带来新的思路。让关系型数据库关注在关系上和对数据的一致性保障,非关系型数据库关注在存储和高效率上。例如,在读写分离的MySQI数据库环境中,可以把经常访问的数据(即高热数据)存储在非关系型数据库中,提升访问速度。
二、Redis简介
Redis 是一个开源的、使用 C 语言编写的 NoSQL 数据库。
Redis 基于内存运行并支持持久化,采用key-value(键值对)的存储形式,是目前分布式架构中不可或缺的一环。
Redis服务器程序是单进程模型,也就是在一台服务器上可以同时启动多个Redis进程,Redis的实际处理速度则是完全依靠于主进程的执行效率。若在服务器上只运行一个Redis进程,当多个客户端同时访问时,服务器的处理能力是会有一定程度的下降;若在同一台服务器上开启多个Redis进程,Redis在提高并发处理能力的同时会给服务器的CPU造成很大压力。即:在实际生产环境中,需要根据实际的需求来决定开启多少个Redis进程。若对高并发要求更高一些,可能会考虑在同一台服务器上开启多个进程。若 CPU 资源比较紧张,采用单进程即可。
2.1 Redis优点
- 具有极高的数据读写速度:数据读取的速度最高可达到 110000 次/s,数据写入速度最高可达到 81000 次/s。
- 支持丰富的数据类型:支持 key-value、Strings、Lists、Hashes、Sets 及 Ordered Sets
- 等数据类型操作。
- 支持数据的持久化:可以将内存中的数据保存在磁盘中,重启的时候可以再次加载进行使用。
- 原子性:Redis 所有操作都是原子性的。
- 支持数据备份:即 master-salve 模式的数据备份。
2.2 Redis为什么这么快?
- Redis是一款纯内存结构,避免了磁盘I/O等耗时操作。
- Redis命令处理的核心模块为单线程,减少了锁竞争,以及频繁创建线程和销毁线程的代价,减少了线程上下文切换的消耗。
- 采用了I/O多路复用机制,大大提升了并发效率。
三、Redis安装部署
3.1 解压编译
systemctl stop firewalld
setenforce 0
yum install -y gcc gcc-c++ make
#将redis-5.0.7.tar.gz 压缩包上传到/opt 目录中
tar zxvf redis-5.0.7.tar.gz -C /opt/
cd /opt/redis-5.0.7/
make
make PREFIX=/usr/local/redis install
#由于Redis源码包中直接提供了Makefile 文件,所以在解压完软件包后,不用先执行./configure 进行配置,可直接执行make与make install命令进行安装
3.2 执行软件包提供的脚本
#执行软件包提供的 install_server.sh 脚本文件设置Redis服务所需要的相关配置文件
cd /opt/redis-5.0.7/utils
./install_server.sh
....... #一直回车.
Please select the redis executable path [/usr/local/bin/redis-server] /usr/local/redis/bin/redis-server
#需要手动修改为 /usr/local/redis/bin/redis-server 注意要一次性正确输入
-------------------------------------------------------------------------------------
Selected config:
Port : 6379 #默认侦听端口为6379
Config file : /etc/redis/6379.conf #配置文件路径
Log file : /var/log/redis_6379.log #日志文件路径
Data dir : /var/lib/ redis/6379 #数据文件路径
Executable : /usr/local/redis/bin/redis-server #可执行文件路径
Cli Executable : /usr/local/redis/bin/redis-cli #客户端命令工具
-------------------------------------------------------------------------------------
3.3 添加链接
#把redis的可执行程序文件放入路径环境变量的目录中便于系统识别
ln -s /usr/local/redis/bin/* /usr/local/bin/
3.4 配置参数
#当install_server.sh 脚本运行完毕,Redis 服务就已经启动,默认侦听端口为6379
netstat -natp | grep redis
#Redis服务控制
/etc/init.d/redis_6379 stop #停止
/etc/init.d/redis_6379 start #启动
/etc/init.d/redis_6379 restart #重启
/etc/init.d/redis_6379 status #状态
#修改配置 /etc/redis/6379.conf 参数
vim /etc/redis/6379.conf
bind 127.0.0.1 192.168.114.200 #70行,添加监听的主机地址
port 6379 #93行,Redis默认的监听端口
daemonize yes #137行,启用守护进程
pidfile /var/run/redis_6379.pid #159行,指定PID文件
loglevel notice #167行,日志级别
logfile /var/log/redis_6379.log #172行,指定日志文件
/etc/init.d/redis_6379 restart
vim /etc/redis/6379.conf
四、Redis 命令工具
redis-server: 用于启动Redis 的工具
redis-benchmark: 用于检测Redis在本机的运行效率
redis-check-aof: 修复AOF持久化文件
redis-check-rdb: 修复RDB持久化文件
redis-cli: Redis 命令行工具.
rdb 和aof 是redis服务中持久化功能的两种形式RDB AOF
redis-cli 常用于登陆至redis 数据库
4.1 redis-cli 命令行工具(远程登陆)
语法: redis-cli -h host -p port -a password
命令 | 参数 |
-h | 指定远程主机 |
-p | 指定 Redis 服务端的端口号 |
-a | 指定密码,未设置数据库密码可以省略-a选项 |
若不添加任何选项表示,则使用127.0.0.1:6379 连接本机上的 Redis 数据库
redis-cli -h 192.168.114.200 -p 6379
#登录数据库(没有密码,所以不需要加-a)
4.2 redis-benchmark 测试工具
redis-benchmark 是官方自带的 Redis 性能测试工具,可以有效的测试 Redis 服务的性能。
基本的测试语法: redis-benchmark [选项] [选项值]
选项 | 参数 |
---|---|
-h | 指定服务器主机名。 |
-p | 指定服务器端口。 |
-s | 指定服务器socket(套接字) |
-c | 指定并发连接数。 |
-n | 指定请求数。 |
-d | 以字节的形式指定 SET/GET 值的数据大小。 |
-k | 1=keep alive 0=reconnect |
-r | SET/GET/INCR 使用随机key, SADD使用随机值。 |
-P | 通过管道传输<numreq>请求。 |
-q | 强制退出redis。 仅显示query/sec 值。 |
--csv | 以CSV格式输出。 |
-l | 生成循环,永久执行测试。 |
-t | 仅运行以逗号分隔的测试命令列表。 |
-I | Idle模式。仅打开 N 个idle连接并等待。 |
向IP地址为192.168.114.200、端口为6379 的Redis 服务器发送100个并发连接与100000 个请求测试性能
redis-benchmark -h 192.168.114.200 -p 6379 -c 100 -n 100000
测试存取大小为100字节的数据包的性能
redis-benchmark -h 192.168.114.200 -p 6379 -q -d 100
测试本机上Redis 服务在进行set与lpush操作时的性能
redis-benchmark -t set,lpush -n 100000 -q
4.3 Redis数据库常用命令
set | 存放数据,命令格式为set key value |
get | 获取数据,命令格式为get key |
keys | 命令可以取符合规则的键值列表,通常情况可以结合*、?等选项来使用 |
exists | 命令可以判断键值是否存在 |
del | 命令可以删除当前数据库指定key |
type | 命令可以获取key对应的value值类型 |
存放、获取数据
查看以什么开头的键
keys *
keys n*
keys n?
keys n??
删除数据
判断键是否存在
exists 命令可以判断键值是否存在,1表示存在,0表示不存在
重命名rename(覆盖)
rename 命令是对已有key进行重命名。 (覆盖)
命令格式: rename 源key 目标key
使用rename命令进行重命名时,无论目标key是否存在都进行重命名,且源key的值会覆盖目标key的值。在实际使用过程中,建议先用 exists命令查看目标key是否存在,然后再决定是否执行rename命令,以避免覆盖重要数据。
对已有key进行重命名 renamenx(不覆盖)
rename n 不进行修改 x进行修改
nx 组合: 先判断 命令的作用是对已有key进行重命名,并检测新名是否存在,如果目标key存在则不进行重命名。 (不覆盖)
命令格式: renamenx 源key 目标key
查看当前数据库中key的数目 dbsize
type获取值类型
String数据类型
- String是redis最基本的类型,最大能存储512M的数据,String类型是二进制安全的,即可以存储任何数据,比如数字、图片,序列号对象等
List数据类型
- 列表的元素类型为string,按照插入顺序排序,在列表的头部或尾部添加元素
Hash数据类型(散装类型)
- hash用于存储对象。可以采用这样的命名方式:对象类别和ID构成键名,使用字段表示对象的属性,而字段值则存储属性值。如:存储ID为2的汽车对象
- 入伙Hash中包含很少的字段,那么该类型的数据也将今朝用很少的磁盘空间。每一个Hash可以存储4294967295个键值对
Set数据类型(无序集合)
- 无序集合,元素类型为String类型,元素具有唯一性,不允许存在重复的成员。多个集合类型之间可以进行并集、交集和差集运算
应用范围:
1.可以使用Redis的Set数据类型跟中一些唯一性数据,比如访问某一博客的唯一IP地址信息。对于此场景,我们仅需在每次访问该博客时将访问者的IP存入Redis中,Set数据类型会自动保证IP地址的唯一性
2.充分利用Set类型的服务端聚合操作方便,高效的特性,可以用于维护数据队对象之间的关联关系。比如所有购买某一个电子设备的客户ID被存储在一个指定Set中,而购买另外一种电子产品的客户ID被intersections命令就可以充分发挥它的方便和效率的优势了
Sort Set数据类型(zset、有序集合)
a、有序集合,元素类型为String,元素具有唯一性,不能重复
b、每个元素都会关联一个double类型的分数score(表示权重),可以通过权重的大小排序,元素的score可以相同
设置密码
config set requirepass 123456
#使用config set requi repass yuorpassword 命令设置密码
auth 123456
#auth认证
config get requirepass
#使用config get requi repass命令查看密码(一旦设置密码,必须先验证通过密码,否则所有操作不可用)
删除密码
config set requirepass ''
#以上不设置,无法重启redis
config get requirepass
#查看密码
4.4 Redis多数据库常用命令
多数据库间切换
命令格式:select 序号
使用redis-cli连接Redis数据库后,默认使用的是序号为0的数据库
select 1 #切换至序号为1的数据库
select 2 #切换至序号为2的数据库
多数据库间移动数据
格式:move 键值 序号
清除数据库内的数据
FLUSHDB:清除当前数据库的数据
FLUSHALL:清除所有数据库的数据,慎用