关系型数据库与NoSQL型数据库
关系型数据库，是建立在关系模型基础上的数据库，其借助于集合代数等数学概念和方法来处理数据库 中的数据主流的 MySQL、Oracle、MS SQL Server 和 DB2 都属于这类传统数据库。
NoSQL 数据库，全称为 Not Only SQL，意思就是适用关系型数据库的时候就使用关系型数据库，不适用的时候也没有一定要使用关系型数据库不可，可以考虑使用更加合适的数据存储。主要分为临时性键 值存储（memcached、Redis）、永久性键值存储（ROMA、Redis）、面向文档的数据库 （MongoDB、CouchDB）、面向列的数据库（Cassandra、HBase），每种 NoSQL 都有其特有的使用场景及优点。
NoSQL数据库优点
现在数据量越来越大，对数据库性能要求越来越高，传统数据库存在着先天性的缺陷，即单机（单库）性能瓶颈，并且扩展困难。自然无法满足 日益增长的海量数据存储及其性能要求，所以才会出现了各种不同的NoSQL 产品，NoSQL 根本性的优势在于在云计算时代，简单、易于大规模分布式扩展，并且读写性能非常高
什么是redis
在2009年发布，开发者是意大利的萨尔瓦多·桑菲利波普（Salvatore Sanfilippo）目前国内外使用的公司众多,比如:阿里,百度,新浪微博,知乎网,GitHub,Twitter 等 Redis是一个开源的、遵循BSD协议的、基于内存的而且目前比较流行的键值数据库(key-value database)，是一个非关系型数据库，redis 提供将内存通过网络远程共享的一种服务，提供类似功能的 还有memcached，但相比memcached，redis还提供了易扩展、高性能、具备数据持久性等功能。 Redis 在高并发、低延迟环境要求比较高的环境使用量非常广泛
redis特性
速度快: 10W QPS,基于内存,C语言实现
单线程（避免线程切换和竞态消耗，纯内存，非阻塞所以速度快）
持久化
支持多种数据结构
支持多种编程语言
功能丰富: 支持Lua脚本,发布订阅,事务,pipeline等功能
简单: 代码短小精悍(单机核心代码只有23000行左右),单线程开发容易,不依赖外部库,使用简单
主从复制
支持高可用和分布式
redis应用场景
Session 共享：常见于web集群中的Tomcat或者PHP中多web服务器session共享
缓存：数据查询、电商网站商品信息、新闻内容
计数器：访问排行榜、商品浏览数等和次数相关的数值统计场景
微博/微信社交场合：共同好友,粉丝数,关注,点赞评论等
消息队列：ELK的日志缓存、部分业务的订阅发布系统
地理位置: 基于GEO(地理信息定位),实现摇一摇,附近的人,外卖等功能
redis工作流程
redis安装
1.yum安装
yum install redis -y
2.源码安装
[root@redis-node1 ~]# tar zxf redis-7.4.0.tar.gz
#安装编译工具
[root@redis-node1 redis]# dnf install make gcc initscripts-10.11.61.el9.x86_64 -y
#编译
[root@redis-node1 redis]# make
[root@redis-node1 redis]# make install
#启动redis
[root@redis-node1 redis]# cd utils/
[root@redis-node1 utils]# ./install_server.sh
Welcome to the redis service installer
This script will help you easily set up a running redis serve
[root@redis-node1 utils]# vim install_server.sh #解决报错问题
#bail if this system is managed by systemd
#_pid_1_exe="$(readlink -f /proc/1/exe)"
#if [ "${_pid_1_exe##*/}" = systemd ]
#then
# echo "This systems seems to use systemd."
# echo "Please take a look at the provided example service unit files in this directory, and adapt and install them. Sorry!"
# exit 1
#fi
[root@redis-node1 utils]# ./install_server.sh
#一路回车
Welcome to the redis service installer
This script will help you easily set up a running redis server
Please select the redis port for this instance: [6379] #端口
Selecting default: 6379
Please select the redis config file name [/etc/redis/6379.conf] #配置
Selected default - /etc/redis/6379.conf
Please select the redis log file name [/var/log/redis_6379.log] #日志
Selected default - /var/log/redis_6379.log
Please select the data directory for this instance [/var/lib/redis/6379] #数据
目录
Selected default - /var/lib/redis/6379
Please select the redis executable path [/usr/local/bin/redis-server] #命令
路径
Selected config:
Port : 6379
Config file : /etc/redis/6379.conf
Log file : /var/log/redis_6379.log
Data dir : /var/lib/redis/6379
Executable : /usr/local/bin/redis-server
Cli Executable : /usr/local/bin/redis-cli
Is this ok? Then press ENTER to go on or Ctrl-C to abort.
Copied /tmp/6379.conf => /etc/init.d/redis_6379
Installing service...
Successfully added to chkconfig!
Successfully added to runlevels 345!
Starting Redis server...
Installation successful!
配置redis
[root@redis-node1 utils]# vim /etc/redis/6379.conf
bind * -::*
[root@redis-node1 utils]# /etc/init.d/redis_6379 restart
Stopping ...
Redis stopped
Starting Redis server...
[root@redis-node1 utils]# netstat -antlpe | grep redis
redis基本命令
redis主从复制
环境配置（三台虚拟机，node1为主，node2.node3为从）
redis-node1 master redis-node2 slave redis-node3 slave
配置主从同步
1.配置主的配置文件
[root@redis-noed1 ~]# vim /etc/redis/6379.conf
89 bind * -::*
113 protected-mode no
540 replicaof 172.25.254.10 6379
[root@redis-noed1 ~]# /etc/init.d/redis_6379 restart
Stopping ...
Redis stopped
Starting Redis server...
2.配置从的配置文件
[root@redis-noed2 ~]# vim /etc/redis/6379.conf
89 bind * -::*
113 protected-mode no
540 replicaof 172.25.254.10 6379
[root@redis-node3 utils]# /etc/init.d/redis_6379 restart
Stopping ...
Redis stopped
Starting Redis server...
主从同步过程
slave节点发送同步亲求到master节点
slave节点通过master节点的认证开始进行同步
master节点会开启bgsave进程发送内存rbd到slave节点，在此过程中是异步操作，也就是说master节点仍然可以进行写入动作
slave节点收到rdb后首先清空自己的所有数据
slave节点加载rdb并进行数据恢复
在master和slave同步过程中master还会开启新的bgsave进程把没有同步的数据进行缓存
然后通过自有的replactionfeedslave函数把未通过内存快照发动到slave的数据一条一条写入到 slave中
redis哨兵
Sentinel 进程是用于监控redis集群中Master主服务器工作的状态，在Master主服务器发生故障的时候， 可以实现Master和Slave服务器的切换，保证系统的高可用，此功能在redis2.6+的版本已引用，Redis的哨兵模式到了2.8版本之后就稳定了下来。一般在生产环境也建议使用Redis的2.8版本的以后版本
每个哨兵(Sentinel)进程会向其它哨兵(Sentinel)、Master、Slave定时发送消息，以确认对方是否”活” 着，如果发现对方在指定配置时间(此项可配置)内未得到回应，则暂时认为对方已离线，也就是所谓的” 主观认为宕机” (主观:是每个成员都具有的独自的而且可能相同也可能不同的意识)，英文名称： Subjective Down，简称SDOWN
有主观宕机，对应的有客观宕机。当“哨兵群”中的多数Sentinel进程在对Master主服务器做出SDOWN 的 判断，并且通过 SENTINEL is-master-down-by-addr 命令互相交流之后，得出的Master Server下线判 断，这种方式就是“客观宕机”(客观:是不依赖于某种意识而已经实际存在的一切事物)，英文名称是： Objectively Down， 简称 ODOWN
通过一定的vote算法，从剩下的slave从服务器节点中，选一台提升为Master服务器节点，然后自动修改 相关配置，并开启故障转移（failover）
Sentinel 机制可以解决master和slave角色的自动切换问题，但单个 Master 的性能瓶颈问题无法解决,类 似于MySQL中的MHA功能
Redis Sentinel中的Sentinel节点个数应该为大于等于3且最好为奇数
sentinel中的三个定时任务
每10秒每个sentinel对master和slave执行info
发现slave节点
确认主从关系
每2秒每个sentinel通过master节点的channel交换信息(pub/sub)
通过sentinel__:hello频道交互
交互对节点的“看法”和自身信息
每1秒每个sentinel对其他sentinel和redis执行pi
哨兵实验
在所有阶段中关闭 protected-mode no
注意！！！：/etc/redis/sentinel.conf 文件在用哨兵程序调用后会更改其配置文件，如果需要重新做需要删掉文件重新编辑
在master主机中
[root@redis-noed1 redis-7.4.0]# vim /etc/redis/sentinel.conf
[root@redis-noed1 redis-7.4.0]# scp /etc/redis/sentinel.conf root@172.25.254.20:/etc/redis/sentinel.conf
root@172.25.254.20's password:
sentinel.conf 100% 14KB 14.4MB/s 00:00
[root@redis-noed1 redis-7.4.0]# scp /etc/redis/sentinel.conf root@172.25.254.30:/etc/redis/sentinel.conf
root@172.25.254.30's password:
sentinel.conf 100% 14KB 16.1MB/s 00:00
[root@redis-noed1 redis-7.4.0]# cd /etc/redis/
[root@redis-noed1 redis]# ls
6379.conf sentinel.conf
[root@redis-noed1 redis]# cp sentinel.conf sentinel.conf.bak #备份
[root@redis-noed1 redis]# redis-sentinel /etc/redis/sentinel.conf #启动哨兵
测试
[root@redis-node1 ~]# redis-cli
127.0.0.1:6379> SHUTDOWN
[root@redis-node2 ~]# redis-cli
127.0.0.1:6379> info replications
127.0.0.1:6379> info replication
问题：
在生产环境中如果master和slave中的网络出现故障，由于哨兵的存在会把master提出去
当网络恢复后，master发现环境发生改变，master就会把自己的身份转换成slave
master变成slave后会把网络故障那段时间写入自己中的数据清掉，这样数据就丢失了。
解决：
master在被写入数据时会持续连接slave，mater确保有2个slave可以写入我才允许写入
如果slave数量少于2个便拒绝写入
redis cluster（无中心化设计）
redis cluster工作原理
在哨兵sentinel机制中，可以解决redis高可用问题，即当master故障后可以自动将slave提升为master， 从而可以保证redis服务的正常使用，但是无法解决redis单机写入的瓶颈问题，即单机redis写入性能受 限于单机的内存大小、并发数量、网卡速率等因素。
redis 3.0版本之后推出了无中心架构的redis cluster机制，在无中心的redis集群当中，其每个节点保存 当前节点数据和整个集群状态,每个节点都和其他所有节点连接
Redis Cluster的特点
所有Redis节点使用(PING机制)互联
集群中某个节点的是否失效，是由整个集群中超过半数的节点监测都失效，才能算真正的失效
客户端不需要proxy即可直接连接redis，应用程序中需要配置有全部的redis服务器IP
redis cluster把所有的redis node 平均映射到 0-16383个槽位(slot)上，读写需要到指定的redis node上进行操作，因此有多少个redis node相当于redis 并发扩展了多少倍，每个redis node 承担 16384/N个槽位
Redis cluster预先分配16384个(slot)槽位，当需要在redis集群中写入一个key -value的时候，会使 用CRC16(key) mod 16384之后的值，决定将key写入值哪一个槽位从而决定写入哪一个Redis节点 上，从而有效解决单机瓶颈。
redis cluster架构
假如三个主节点分别是：A, B, C 三个节点，采用哈希槽 (hash slot)的方式来分配16384个slot 的话它们 三个节点分别承担的slot 区间可以是：
节点A覆盖 0－5460
节点B覆盖 5461－10922
节点C覆盖 10923－16383
redis cluster 部署架构说明
创建redis cluster的前提
1.每个redis node节点采用相同的硬件配置、相同的密码、相同的redis版本。
2.每个节点必须开启的参数
cluster-enabled yes #必须开启集群状态，开启后redis进程会有cluster显示
cluster-config-file nodes-6380.conf #此文件有redis cluster集群自动创建和维护，不需要任何手动操作
3.所有redis服务器必须没有任何数据
4.先启动为单机redis且没有任何key value
部署redis cluster
[root@redis-node1 ~]# vim /etc/redis/redis.conf
75 bind * -::*
486 masterauth "123456"
903 requirepass "123456"
1387 cluster-enabled yes
1395 cluster-config-file nodes-6379.conf
1401 cluster-node-timeout 15000
[root@redis-noed1 ~]# for i in 20 30 40 110 120 130 140; do scp /etc/redis/redis.conf root@172.25.254.$i:/etc/redis/redis.conf; done
[root@redis-noed1 ~]# systemctl enable --now redis #这里每个虚拟机都要做
[root@redis-noed1 ~]# systemctl restart redis.service
** redis-cli --cluster 参数说明**
创建redis-cluster
[root@redis-noed1 ~]# redis-cli --cluster create -a 123456 172.25.254.10:6379 172.25.254.20:6379 172.25.254.30:6379 172.25.254.110:6379 172.25.254.120:6379 172.25.254.130:6379 --cluster-replicas 1
[root@redis-noed1 ~]# ll /var/lib/redis/nodes-6379.conf
检测redis集群状态
[root@redis-noed1 ~]# redis-cli -a 123456 --cluster info 172.25.254.10:6379
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
172.25.254.10:6379 (8874f637...) -> 0 keys | 8192 slots | 1 slaves.
172.25.254.130:6379 (074b82c7...) -> 0 keys | 4096 slots | 1 slaves.
172.25.254.30:6379 (e0616731...) -> 0 keys | 4096 slots | 1 slaves.
[OK] 0 keys in 3 masters.
0.00 keys per slot on average.
[root@redis-noed1 ~]# redis-cli -a 123456 cluster info
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
cluster_state:ok
cluster_slots_assigned:16384
cluster_slots_ok:16384
cluster_slots_pfail:0
cluster_slots_fail:0
cluster_known_nodes:6
cluster_size:3
cluster_current_epoch:9
cluster_my_epoch:9
cluster_stats_messages_ping_sent:3482
cluster_stats_messages_pong_sent:28069
cluster_stats_messages_fail_sent:5
cluster_stats_messages_auth-ack_sent:1
cluster_stats_messages_update_sent:4
cluster_stats_messages_sent:31561
cluster_stats_messages_ping_received:3488
cluster_stats_messages_pong_received:7578
cluster_stats_messages_meet_received:5
cluster_stats_messages_fail_received:1
cluster_stats_messages_auth-req_received:1
cluster_stats_messages_update_received:1
cluster_stats_messages_received:11074
[root@redis-noed1 ~]# redis-cli -a 123456 --cluster check 172.25.254.10:6379
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
172.25.254.10:6379 (8874f637...) -> 0 keys | 8192 slots | 1 slaves.
172.25.254.130:6379 (074b82c7...) -> 0 keys | 4096 slots | 1 slaves.
172.25.254.30:6379 (e0616731...) -> 0 keys | 4096 slots | 1 slaves.
[OK] 0 keys in 3 masters.
0.00 keys per slot on average.
>>> Performing Cluster Check (using node 172.25.254.10:6379)
M: 8874f63711fa41af5ea7567b14266bb3a919cf1e 172.25.254.10:6379
slots:[0-6826],[10923-12287] (8192 slots) master
1 additional replica(s)
S: 8bc4faeb5ca0bb74027b8aca80116ad84cade5f9 172.25.254.20:6379
slots: (0 slots) slave
replicates 074b82c78c262fe95d57caaeae63e9f3997afc37
M: 074b82c78c262fe95d57caaeae63e9f3997afc37 172.25.254.130:6379
slots:[6827-10922] (4096 slots) master
1 additional replica(s)
S: aac97ce8f8e5baad2631291471676091682cb0a1 172.25.254.110:6379
slots: (0 slots) slave
replicates e06167319ff79d2f033211e93ed07dec2d5349d2
M: e06167319ff79d2f033211e93ed07dec2d5349d2 172.25.254.30:6379
slots:[12288-16383] (4096 slots) master
1 additional replica(s)
S: 097ed4f6c5b8dd228c215b8586548e6afcb9b83a 172.25.254.120:6379
slots: (0 slots) slave
replicates 8874f63711fa41af5ea7567b14266bb3a919cf1e
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.
写入数据
[root@redis-noed1 ~]# redis-cli -a 123456
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
127.0.0.1:6379> set key1 value1
(error) MOVED 9189 172.25.254.130:6379
[root@redis-node2 ~]# redis-cli -a 123456
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
127.0.0.1:6379> set key1 value1
OK
1118
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
