目录
5、修改配置 /etc/redis/6379.conf 参数
前言
NoSQL(NoSQL = Not Only SQL ),不意为反SQL运动,是一项全新的数据库革命性运动,2000年前就有人提出,发展至2009年趋势越发高涨。它是指运用非关系型的数据存储,相对于铺天盖地的关系型数据库运用,这一概念无疑是一种全新的思维的注入。
一、关系数据库与非关系型数据库
1、关系型数据库
关系型数据库是一个结构化的数据库,创建在关系模型 (二维表格模型) 基础上,一般面向于记录。SQL 语句 (标准数据查询语言) 就是一种基于关系型数据库的语言,用于执行对关系型数据库中数据的检索和操作。
主流的关系型数据库包括 Oracle、MySQL(mariadb)、SQL Server、Microsoft Access、DB2 等。
优点
- 易于维护:都是使用表结构,格式一致
- 使用方便:SQL语言通用,可用于复杂查询
- 支持复杂操作:支持SQL,可用于一个表以及多个表之间非常复杂的查询
缺点
- 读写性能比较差,尤其是海量数据的高效率读写
- 固定的表结构,灵活度稍欠
- 对于高并发读写的需求,传统关系型数据库节点的硬盘I/O是一个很大的瓶颈
2、非关系型数据库
NoSQL (NoSQL=NotOnlySQL),意思是 不仅仅是 SQL,是非关系型数据库的总称。除了主流的关系型数据库外的数据库,都认为是非关系型。
主流的 NoSQL 数据库有 Redis、MongoDB、Hbase、Memcached、Postgresql 等。
3、关系型数据库和非关系型数据库区别
3.1 数据存储方式不同
关系型和非关系型数据库的主要差异是数据存储的方式。关系型数据天然就是表格式的,因此存储在数据表的行和列中。数据表可以彼此关联协作存储,也很容易提取数据。
与其相反,非关系型数据不适合存储在数据表的行和列中,而是大块组合在一起。非关系型数据通常存储在数据集中,就像文档、键值对或者图结构。你的数据及其特性是选择数据存储和提取方式的首要影响因素。
关系型:依赖于关系模型 E-R 图,同时以二维表格式的方式存储数据。
非关系型:除了以表格形式存储之外,通常会以大块的形式组合在一起进行存储数据。
3.2 扩展方式不同
SQL 和 NoSQL 数据库最大的差别可能是在扩展方式上,要支持日益增长的需求当然要扩展。
要支持更多并发量,SQL 数据库是纵向扩展,也就是说提高处理能力,使用速度更快速的计算机,这样处理相同的数据集就更快了。因为数据存储在关系表中,操作的性能瓶颈可能涉及很多个表,这都需要通过提高计算机性能来克服。虽然 SQL 数据库有很大扩展空间,但最终肯定会达到纵向扩展的上限。
NoSQL 数据库是横向扩展的。因为非关系型数据存储天然就是分布式的,NoSQL 数据库的扩展可以通过给资源池添加更多普通的数据库服务器 (节点) 来分担负载。
- 关系:纵向(天然表格式)
- 非关:横向(天然分布式)
3.3 对事务性的支持不同
如果数据操作需要高事务性或者复杂数据查询需要控制执行计划,那么传统的 SQL 数据库从性能和稳定性方面考虑是最佳选择。SQL 数据库支持对事务(ACID)原子性细粒度控制,并且易于回滚事务。
虽然 NoSQL 数据库也可以使用事务操作,但稳定性方面没法和关系型数据库比较,所以它们真正闪亮的价值是在操作的扩展性和大数据量处理方面。
关系型:特别适合高事务性要求和需要控制执行计划的任务
非关系:此处会稍显弱势,其价值点在于高扩展性和大数据量处理方面
4、非关系型数据库产生背景
用于应对 Web2.0 纯动态网站类型的三高问题:
- High performance对数据库高并发读写需求
- HugeStorage对海量数据高效存储与访问需求
- High Scalability && High Availability对数据库高可扩展性与高可用性需求
关系型数据库和非关系型数据库都有各自的特点与应用场景,两者的紧密结合将会给 Web2.0 的数据库发展带来新的思路。让关系数据库关注在关系上,非关系型数据库关注在存储上。例如,在读写分离的 MySQL 数据库环境中,可以把经常访问的数据存储在非关系型数据库中,提升访问速度。
存储位置
- mysql 高热数据 -> redis
- web -> redis -> mysql
- cpu -> 内存/缓存 -> 磁盘
关系型数据库存储过程
- 实例 -> 数据库 -> 表 -> 记录行、数据字段 -> 存储数据
非关系型数据库
- 实例 -> 数据库 -> 集合 -> 键值对(key-value)
二、Redis
- redis 是一个开源的、使用 C 语言编写的 NoSQL 数据库
- redis 基于内存运行并支持持久化(支持存储在磁盘),采用 key-value(键值对)的存储形式,是目前分布式架构中不可或缺的一环
- redis 服务器程序是单进程模型
redis 服务在一台服务器上可以同时启动多个 redis 进程,redis 的实际处理速度则是完全依靠于主进程的执行效率。若在服务器上只运行一个 redis 进程,当多个客户端同时访问时,服务器的处理能力是会有一定程度的下降;若在同一台服务器上开启多个 redis 进程,redis 在提高并发处理能力的同时会给服务器的 CPU 造成很大压力。即:在实际生产环境中,需要根据实际的需求来决定开启多少个Redis进程。
建议使用2个以上进程,原因有:
- 备份
- 抗高并发的同时尽量不给 CPU 造成太大的压力
2、redis 优点
- 具有极高的数据读写速度:数据读取的速度最高可达到 110000 次/s,数据写入速度最高可达到 81000 次/s
- 支持丰富的数据类型:支持 key-value、Strings、Lists、Hashes(散列值)、Sets 及 Ordered Sets 等数据类型操作,如下:
- string 字符串:可以为整形、浮点和字符型,统称为元素
- list 列表:实现队列,元素不唯一,先入先出原则
- set 集合:各不相同的元素
- hash 散列值:hash 的 key 必须是唯一的
- set/ordered sets:集合/有序集合
- 支持数据的持久化:可以将内存中的数据保存在磁盘中,重启的时候可以再次加载进行使用
- 原子性:redis 所有操作都是原子性的
- 支持数据备份:即 master-slave 模式的数据备份
- 支持 publish(消息发布)/ subscribe(订阅),通知,设置 key 有效期等等特性
3、redis 的使用场景
redis 作为基于内存运行的数据库,缓存是其最常应用的场景之一。除此之外,redis 常见应用场景还包括获取最新 N 个数据的操作、排行榜类应用、计数器应用、存储关系、实时分析系统、日志记录。
4、redis 速度快的原因
- redis 是纯内存结构,避免了磁盘的 I/O 等耗时操作
- redis 命令处理的核心模块为单线程,减少了锁竞争,以及频繁创建线程和销毁线程的代价,减少了线程上下文切换的消耗
- 采用了 I/O 多路复用机制,大大提升了并发效率
I/O 多路复用程序虽然会同时监听多个 socket 连接,但是其会将监听的 socket 都放到一个队列里面,然后通过这个队列有序的,同步的将每个 socket 对应的时间传送到文件事件分派器,再由文件事件分派器给对应的事件处理器进行处理,只有当一个 socket 所对应的事件被处理完毕之后,I/O 多路复用程序才会继续向文件事件分派器传送下一个 socket 所对应的的事件,这也可以验证上面的结论,处理客户端的命令请求是单线程的方式逐个处理,但是事件处理器内并不是只有一个线程。
5、epoll 机制的优势
- epoll 没有最大并发连接的限制,上限是最大可以打开文件的数目,这个数字一般远大于 2048, 一般来说这个数目和系统内存关系很大 ,具体数目可以 cat /proc/sys/fs/file-max 查看。
- 效率提升,epoll 最大的优点就在于它只管你活跃的连接 ,而跟连接总数无关,因此在实际的网络环境中,epoll 的效率就会远远高于 select 和 poll。
- 内存拷贝,epoll 在这点上使用了共享内存,这个内存拷贝也省略了。I/O 多路复用就通过一种机制,可以监视多个描述符,一旦某个描述符就绪,能够通知程序进行相应的操作。
- 多个 socket 会定义为一个 fd 文件描述符(每有一个新建、打开、修改等 “事件” 内核就会返回一个fd(可理解为索引)),在每个 fd 激活时,会进行内核中的回调函数。
- I/O 多路复用程序会监听 socket 活跃的链接,然后调用该 socket(而此 socket 文件句柄主要实现的是网络上的 ip+port+协议所标识的网络中的进程)可以简单理解为虚拟接口(抽象层)。本质而言就是使用一个线程来追踪多个 socket(I/O流)的状态,来管理多个 I/O。
- I/O 复用:一个线程同时追踪、管理多个连接(原本默认情况下是一个线程对应一个连接)。
- 回调:预先定义具体的执行过程(定义一个方法),等待调用。在一个线程给执行时,可以根据 触发器 钩子 完成回调,回调的目的是提高处理性能和节省资源。
三、安装部署Redis
1、关闭防火墙和增强机制
systemctl stop firewalld && systemctl disable firewalld
setenforce 0
2、编译安装
wget http://101.34.22.188/redis/redis-5.0.7.tar.gz -P /opt
yum -y install gcc gcc-c++ make
yum repolist && yum -y install gcc*
cd /opt
tar zxvf /opt/redis-5.0.7.tar.gz -C /opt
cd /opt/redis-5.0.7/
# redis 源码包中直接提供了 Makefile 文件,所以在解压完软件包后,不用先执行./configure 进行配置,可直接执行 make 与 make install 命令进行安装
make && make PREFIX=/usr/local/redis install
cd /opt/redis-5.0.7/utils
#执行软件包提供的 install_server.sh 脚本文件设置 redis 服务所需要的相关配置文件
./install_server.sh
....... #一直回车
Please select the redis executable path [] /usr/local/redis/bin/redis-server
#需要手动输入 /usr/local/redis/bin/redis-server #注意要一次性正确输入
3、优化路径
#把 redis 的可执行程序文件放入路径环境变量的目录中便于系统识别
ln -s /usr/local/redis/bin/* /usr/local/bin/
#当 install_server.sh 脚本运行完毕,redis 服务就已经启动,默认监听端口为 6379
netstat -natp | grep redis
4、Redis服务控制
/etc/init.d/redis_6379 stop #停止
/etc/init.d/redis_6379 start #启动
/etc/init.d/redis_6379 restart #重启
/etc/init.d/redis_6379 status #状态
5、修改配置 /etc/redis/6379.conf 参数
vim /etc/redis/6379.conf
+
bind 127.0.0.1 192.168.223.13 #70行,添加监听的主机地址
port 6379 #93行,redis 默认的监听端口
daemonize yes #137行,启用守护进程
pidfile /var/run/redis_6379.pid #159行,指定 PID 文件
loglevel notice #167行,日志级别
logfile /var/log/redis_6379.log #172行,指定日志文件
----------------------------------------------------------
/etc/init.d/redis_6379 restart
6、注册系统服务
cat > /usr/lib/systemd/system/redis.service <<EOF
[Unit]
Description=Redis
After=syslog.target network.target remote-fs.target nss-lookup.target
[Service]
Type=forking
PIDFile=/var/run/redis_6379.pid
ExecStart=/usr/local/redis/bin/redis-server /etc/redis/6379.conf
ExecReload=/bin/kill -s HUP $MAINPID
ExecStop=/bin/kill -s QUIT $MAINPID
PrivateTmp=true
[Install]
WantedBy=multi-user.target
EOF
配置完成后重启服务
systemctl daemon-reload
systemctl restart redis && systemctl enable redis
systemctl status redis
7、Redis 一键安装脚本
#!/bin/bash
systemctl stop firewalld && systemctl disable firewalld
setenforce 0
yum -y install gcc gcc-c++ make net-tools tcl expect
sleep 5 - 10
cd /opt
if [ ! -f " redis-5.0.7.tar.gz" ]; then
wget http://101.34.22.188/redis/redis-5.0.7.tar.gz
#wget http://download.redis.io/releases/redis-5.0.7.tar.gz
fi
tar zxvf redis-5.0.7.tar.gz -C /opt/
cd redis-5.0.7/
make
make PREFIX=/usr/local/redis install
cd /opt/redis-5.0.7/utils/
/usr/bin/expect <<EOF
spawn ./install_server.sh
expect "instance" {send "\r"}
expect "config" {send "\r"}
expect "log" {send "\r"}
expect "data" {send "\r"}
expect "executable" {send "/usr/local/redis/bin/redis-server\r"}
expect "abort" {send "\r"}
expect eof
EOF
ln -s /usr/local/redis/bin/* /usr/local/bin/
sed -i '/bind 127.0.0.1/c bind 0.0.0.0' /etc/redis/6379.conf
sed -i 's/appendonly no/appendonly yes/' /etc/redis/6379.conf
cat > /usr/lib/systemd/system/redis.service <<EOF
[Unit]
Description=Redis
After=syslog.target network.target remote-fs.target nss-lookup.target
[Service]
Type=forking
PIDFile=/var/run/redis_6379.pid
ExecStart=/usr/local/redis/bin/redis-server /etc/redis/6379.conf
ExecReload=/bin/kill -s HUP $MAINPID
ExecStop=/bin/kill -s QUIT $MAINPID
PrivateTmp=true
[Install]
WantedBy=multi-user.target
EOF
systemctl daemon-reload
systemctl restart redis && systemctl enable redis
netstat -natp | grep "redis"
pgrep "redis" &> /dev/null
if [ $? -eq 0 ];then
echo -e "\033[46;37m Redis 服务运行正常 \033[0m"
else
echo -e "\033[46;37m Redis 服务运行异常,请检查 \033[0m"
fi
sleep 2
echo ' '
echo -e "\033[46;37m Redis 未设置密码,执行 redis-cli 命令登录 \033[0m"
四、Redis管理工具
1、Redis命令工具
- redis-server: 用于启动 redis 的工具
- redis-benchmark: 用于检测 redis 在本机的运行效率
- redis-check-aof: 修复 AOF 持久化文件
- redis-check-rdb: 修复 RDB 持久化文件
- redis-cli: redis 命令行工具,常用于登陆至 redis 数据库
RDB 和 AOF 是 redis 服务中持久化功能的两种形式:
- RDB:fork 一个子进程,在指定时间内将数据写入磁盘,每次写入会覆盖上一次的文件
- AOF:以日志形式记录所有的写指令,并指定记录文件名
2、redis-cli命令行工具
redis-cli -h host -p port -a password
-h 指定远程主机
-p 指定 redis 服务的端口号
-a 指定密码,未设置数据库密码可以省略 -a 选项
#若不添加任何选项表示,则使用 127.0.0.1:6379 连接本机上的 redis 数据库
3、redis-benchmark测试工具
基本的测试语法:redis-benchmark [选项] [选项值]
-h 指定服务器主机名
-p 指定服务器端口
-s 指定服务器 socket(套接字)
-c 指定并发连接数
-n 指定请求数
-d 以字节的形式指定 SET/GET 值的数据大小
-k 1=keep alive 0=reconnect
-r SET/GET/INCR 使用随机 key,SADD 使用随机值
-P 通过管道传输 <numreq> 请求
-q 强制退出 redis,仅显示 query/sec 值
-l 生成循环,永久执行测试
-t 仅运行以逗号分隔的测试命令列表
-I Idle 模式,仅打开 N 个 idle 连接并等待
--csv 以 CSV 格式输出
五、Redis数据库常用命令
1、set / get
- set:存放数据,命令格式为 set key value
- get:获取数据,命令格式为 get key
127.0.0.1:6379> set name z
OK
127.0.0.1:6379> get name
"zb"
2、keys
keys 命令可以取符合规则的键值列表,通常情况可以结合 * ? 等选项来使用
[root@c7-1 ~]#redis-cli
127.0.0.1:6379> keys *
1) "name"
2) "myset:__rand_int__"
3) "key:__rand_int__"
4) "counter:__rand_int__"
5) "mylist"
创建键值匹配
[root@c7-1 ~]#redis-cli
127.0.0.1:6379> keys * #查看当前数据库中所有键
1) "name"
2) "myset:__rand_int__"
3) "key:__rand_int__"
4) "counter:__rand_int__"
5) "mylist"
127.0.0.1:6379> keys v?
(empty list or set)
127.0.0.1:6379> set k1 1
OK
127.0.0.1:6379> set k1 2
OK
127.0.0.1:6379> set k1 3
OK
127.0.0.1:6379> keys *
1) "name"
2) "myset:__rand_int__"
3) "key:__rand_int__"
4) "counter:__rand_int__"
5) "mylist"
6) "k1"
127.0.0.1:6379> set v1 1
OK
127.0.0.1:6379> set v1 2
OK
127.0.0.1:6379> set v2 1
OK
127.0.0.1:6379> set v2 2
OK
127.0.0.1:6379> keys *
1) "name"
2) "myset:__rand_int__"
3) "key:__rand_int__"
4) "counter:__rand_int__"
5) "mylist"
6) "v2"
7) "v1"
8) "k1"
127.0.0.1:6379> keys v* #查看当前数据库中以 v 开头的数据
1) "v2"
2) "v1"
127.0.0.1:6379> keys k* #查看当前数据库中以 k 开头的数据
1) "key:__rand_int__"
2) "k1"
127.0.0.1:6379> keys *1 #查看当前数据库中以 1 结尾的数据
1) "v1"
2) "k1"
127.0.0.1:6379> keys ?1 #查看当前数据库中以 1 结尾并且 1 前面包含任意一位的数据
1) "v1"
2) "k1"
127.0.0.1:6379> keys ??1 #查看当前数据库中以 1 结尾并且 1 前面包含任意两位的数据
(empty list or set)
3、exists
exists 命令可以判断键值是否存在
127.0.0.1:6379> EXISTS name
(integer) 1 #表示 name 键是存在的
127.0.0.1:6379> EXISTS na
(integer) 0 #表示 na 键是不存在的
4、del
del 命令可以删除当前数据库的指定 key
127.0.0.1:6379> del name
(integer) 1
127.0.0.1:6379> get name
(nil)
127.0.0.1:6379> EXISTS name
(integer) 0
127.0.0.1:6379> KEYS name
(empty list or set)
5、type
type 命令可以获取 key 对应的 value 值类型
127.0.0.1:6379> type k1
string
127.0.0.1:6379> type v1
string
6、rename
rename 命令是对已有 key 进行重命名(覆盖)
rename [源key] [目标key]
使用 rename 命令进行重命名时,无论目标 key 是否存在都进行重命名,且源 key 的值会覆盖目标 key 的值。在实际使用过程中,建议先用 exists 命令查看目标 key 是否存在,然后再决定是都执行 rename 命令,以避免覆盖重要数据。
重命名
127.0.0.1:6379> keys v*
1) "v2"
2) "v1"
127.0.0.1:6379> rename v1 v5
OK
127.0.0.1:6379> keys v*
1) "v5"
2) "v2"
覆盖
127.0.0.1:6379> get v2
"2"
127.0.0.1:6379> get v5
"2"
127.0.0.1:6379> rename v2 v4
OK
127.0.0.1:6379> keys v*
1) "v4"
2) "v5"
127.0.0.1:6379> get v4
"2"
127.0.0.1:6379> get v2
(nil)
7、renamenx
renamenx 命令的作用是对已有 key 进行重命名,并检测新名是否存在,如果目标 key 存在则不进行重命名(不覆盖)
renamenx [源key] [目标key]
127.0.0.1:6379> keys v*
1) "v4"
2) "v5"
127.0.0.1:6379> renamenx v4 v1
(integer) 1
127.0.0.1:6379> keys v*
1) "v5"
2) "v1"
127.0.0.1:6379> renamenx v5 v1
(integer) 0
127.0.0.1:6379> keys v*
1) "v5"
2) "v1"
8、dbsize
dbsize 命令的作用是查看当前数据库中 key 的数目
127.0.0.1:6379> keys *
1) "myset:__rand_int__"
2) "key:__rand_int__"
3) "counter:__rand_int__"
4) "mylist"
5) "v5"
6) "v1"
7) "k1"
127.0.0.1:6379> dbsize
(integer) 7
9、密码设置
使用 config set requirepass password
命令设置密码
127.0.0.1:6379> config set requirepass 123456
OK
10、密码验证
使用 auth 命令验证密码,一旦设置密码,每次登陆后必须先验证通过密码,否则所有操作不可用
127.0.0.1:6379> keys *
(error) NOAUTH Authentication required.
127.0.0.1:6379> auth 123456
OK
127.0.0.1:6379> keys *
1) "myset:__rand_int__"
2) "key:__rand_int__"
3) "counter:__rand_int__"
4) "mylist"
5) "v5"
6) "v1"
7) "k1"
也可在登录时使用 -a 选项,输入密码
[root@c7-1 ~]#redis-cli -a 123456
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
127.0.0.1:6379> keys *
1) "myset:__rand_int__"
2) "key:__rand_int__"
3) "counter:__rand_int__"
4) "mylist"
5) "v5"
6) "v1"
7) "k1"
#由于密码将被直接暴露,有被 history 盗密的风险,因此需谨慎使用
11、查看密码
使用 config get requirepass
命令查看密码
127.0.0.1:6379> config get requirepass
1) "requirepass"
2) "123456"
12、取消密码
使用 config set requirepass ''
命令通过重定义空密码的方式,清空密码并取消密码验证
127.0.0.1:6379> config get requirepass
1) "requirepass"
2) "123456"
127.0.0.1:6379> config set requirepass ''
OK
127.0.0.1:6379> config get requirepass
1) "requirepass"
2) ""
127.0.0.1:6379> quit
[root@c7-1 ~]#redis-cli
127.0.0.1:6379> keys *
1) "myset:__rand_int__"
2) "key:__rand_int__"
3) "counter:__rand_int__"
4) "mylist"
5) "v5"
6) "v1"
7) "k1"
六、redis 多数据库常用命令
redis 支持多数据库,redis 默认情况下包含 16 个数据库,数据库名称是用数字 0-15 来依次命名的。多数据库相互独立,互不干扰。
1、多数据库间切换
使用 redis-cli 连接 redis 数据库后,默认使用的是序号为 0 的数据库。
命令格式:select 序号
127.0.0.1:6379[1]> select 0
OK
127.0.0.1:6379> keys *
1) "myset:__rand_int__"
2) "key:__rand_int__"
3) "counter:__rand_int__"
4) "mylist"
5) "v5"
6) "v1"
7) "k1"
127.0.0.1:6379> select 1
OK
127.0.0.1:6379[1]> keys *
(empty list or set)
2、多数据库间移动数据
格式:move 键值 序号
127.0.0.1:6379[1]> select 0 #切换 0 库
OK
127.0.0.1:6379> set name zhangsan #创建 name 键,赋值 zhangsan
OK
127.0.0.1:6379> get name #查看 name 键内容
"zhangsan"
127.0.0.1:6379> select 1 #切换 1 库
OK
127.0.0.1:6379[1]> get name #查看是否有 name 键
(nil)
127.0.0.1:6379[1]> select 0 #切换 0 库
OK
127.0.0.1:6379> move name 1 #将 name 键移动到库 1
(integer) 1
127.0.0.1:6379> get name # 0 库中已无 name 键
(nil)
127.0.0.1:6379> select 1 #切换 1 库
OK
127.0.0.1:6379[1]> get name #查看 name 键
"zhangsan"
3、清除数据库数据
- flushdb:清空当前数据库数据
- flushall:清空所有数据库的数据(慎用)
127.0.0.1:6379> select 1
OK
127.0.0.1:6379[1]> keys *
1) "name"
127.0.0.1:6379[1]> flushdb
OK
127.0.0.1:6379[1]> keys *
(empty list or set)
127.0.0.1:6379[1]> select 0
OK
127.0.0.1:6379> keys *
1) "myset:__rand_int__"
2) "key:__rand_int__"
3) "counter:__rand_int__"
4) "mylist"
5) "v5"
6) "v1"
7) "k1"
127.0.0.1:6379> select 1
OK
127.0.0.1:6379[1]> flushall
OK
127.0.0.1:6379[1]> select 0
OK
127.0.0.1:6379> keys *
(empty list or set)