【笔记】redis数据库快速入门（各种踩坑o(︶︿︶)o 唉）

最新推荐文章于 2022-06-11 09:20:56 发布

在下能猫

最新推荐文章于 2022-06-11 09:20:56 发布

阅读量929

点赞数 1

分类专栏： # redis 文章标签： redis 数据库

本文链接：https://blog.csdn.net/qq_23996069/article/details/105096704

版权

redis 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

Redis数据库

6.5 Django中使用redis数据库存储session

7.搭建主从

8.搭建集群

官方文档（中）：http://redis.cn/documentation.html

官方文档（英）：https://redis.io/documentation

以下内容为课件+个人笔记（各种踩坑）。

简介
安装
配置
服务端和客户端
数据操作
与Python交互
搭建主从
搭建集群

1.简介

NoSQL

一类新出现的数据库(not only sql)，区别于关系型数据库，特点如下：

不支持SQL语法
存储结构跟传统关系型数据库中的那种关系表完全不同，nosql中存储的数据都是KV形式（key-vakue）
NoSQL的世界中没有一种通用的语言，每种nosql数据库都有自己的api和语法，以及擅长的业务场景
NoSQL中的产品种类相当多：
Mongodb（爬虫会用）
Redis
Hbase hadoop
Cassandra hadoop

NoSQL和SQL数据库的比较

适用场景不同：sql数据库适合用于关系特别复杂的数据查询场景，nosql适用于关系不明显的数据
“事务”特性的支持：sql对事务的支持非常完善，而nosql基本不支持事务
两者在不断地取长补短，呈现融合趋势

Redis简介

Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。
Redis是 NoSQL技术阵营中的一员，它通过多种键值数据类型来适应不同场景下的存储需求，借助一些高层级的接口使用其可以胜任，如缓存、队列系统的不同角色。

Redis特性

Redis支持数据的持久化，可以将内存中的数据保存在磁盘中，重启的时候可以再次加载进行使用。
Redis不仅仅支持简单的key-value类型的数据，同时还提供list，set，zset，hash等数据结构的存储。
Redis支持数据的备份，即master-slave模式（主从模式）的数据备份。

Redis 优势

性能极高。
丰富的数据类型 – Redis支持二进制案例的 Strings, Lists, Hashes, Sets 及 Ordered Sets 数据类型操作。
原子性 – Redis的所有操作都是原子性的，不存在多线/进程中的问题，同时Redis还支持对几个操作全并后的原子性执行。
丰富的特性 – Redis还支持 publish/subscribe, 通知, key 过期等等特性。

redis应用场景

用来做缓存(ehcache/memcached)——redis的所有数据是放在内存中的（内存数据库）
可以在某些特定应用场景下替代传统数据库——比如社交类的应用
在一些大型系统中，巧妙地实现一些特定的功能：session共享、购物车...

2.安装

可以采用在线安装的方法：sudo apt-get install redis-server

参考：https://blog.csdn.net/hzlarm/article/details/99432240

下面是手动安装：

参考：https://redis.io/download

以ubuntu为例，在官网下载链接：http://download.redis.io/releases/redis-4.0.14.tar.gz

或者按照如下步骤（1）下载：

（1）下载：

wget http://download.redis.io/releases/redis-4.0.14.tar.gz

（2）解压：

tar -zxvf redis-4.0.14.tar.gz

（3）复制，放到usr/local⽬录下

sudo mv ./redis-4.0.14 /usr/local/redis/

（4）进⼊redis⽬录

cd /usr/local/redis/

（5）make生成（redis用c编写的，要先对其进行编译）

sudo make

（6）测试，确保依赖库没有问题。如果提示缺少什么，就去安装。

sudo make test

（7）安装，将redis的命令安装到 /usr/local/bin/ ⽬录

sudo make install

（8）安装完成后，我们进入目录/usr/local/bin中查看

cd /usr/local/bin
ls -all

可以看到redis相关的程序。

使用命令如下：

redis-server ：redis服务器
redis-cli redis ：命令行客户端
redis-benchmark ：redis 性能测试工具
redis-check-aof ：AOF 文件修复工具
redis-check-rdb ：RDB 持久化文件检索工具

（9）将刚刚解压的配置⽂件 redis.conf，拷贝到/etc/⽬录下

sudo cp /usr/local/redis/redis.conf /etc/redis/

还有一种方法通过apt-get安装（没试过）

$ sudo apt-get install redis-server

3.配置

Redis的配置信息在/etc/redis/redis.conf下（在线自动安装），上面手动安装的方法我们要把配置文件移动到了该目录。

打开编辑：

sudo vi /etc/redis/redis.conf

核心配置选项

打开 redis.conf ，一些核心配置选项如下

绑定ip：如果需要远程访问，可将此⾏注释，或绑定⼀个真实ip

bind 127.0.0.1

端⼝，默认为6379

port 6379

是否以守护进程运⾏

如果以守护进程运⾏，则不会在命令⾏阻塞，类似于服务
如果以⾮守护进程运⾏，则当前终端被阻塞
设置为yes表示守护进程，设置为no表示⾮守护进程
推荐设置为yes

daemonize yes

数据⽂件（如下，数据持久化时，将写到文件dump.rdb里）

dbfilename dump.rdb

配置数据⽂件存储路径（默认为：dir ./ ）

dir /var/lib/redis

若没有redis文件夹的话，需要创建。

指定⽇志⽂件位置（默认为空）

logfile "/var/log/redis/redis-server.log"

若log目录没有redis文件夹的话，需要创建。

数据库，默认有16个

database 16

主从复制，类似于双机备份。

slaveof

4.服务端和客户端命令

4.1.服务器端

服务器端的命令为（任何目录可启动）：

redis-server

help查看帮助⽂档

redis-server --help

推荐使⽤服务的⽅式管理redis服务

启动

（1）：sudo service redis start

（2）：或指定配置文件启动：

sudo redis-server 配置文件路径

sudo redis-server /etc/redis/redis.conf

停⽌

sudo service redis stop

注意，以上命令不能正确停止时，

（1）可以用 ps -ef | grep redis 查看进程号，再用 kill -9 ${pid} 停止。

（2）可以使用 redis-cli -h ip地址 -p 端口号shutdown 来停止。

重启：sudo service redis restart

但是，上面是默认安装时的用法，如果像前面那样安装，需要指定加载我们改过的配置文件启动：

sudo redis-server /etc/redis/redis.conf

附：

ps -ef|grep redis 查看redis服务器进程
sudo kill -9 pid 杀死redis服务器
sudo redis-server /etc/redis/redis.conf 指定加载的配置文件

4.2.客户端

客户端的命令为

redis-cli

以上命令会连上默认的ip、port。

指定ip和端口连接：

redis-cli -h {host} -p {port}

可以使⽤help查看帮助⽂档

redis-cli --help

帮助文档说明了如何指定ip、port等

运⾏测试命令

ping

切换数据库

数据库没有名称，默认有16个，通过0-15来标识，连接redis默认选择第一个数据库。切换数据库命令如下，index为数字：

select index

5.数据类型及其操作

数据结构

redis是key-value的数据结构，每条数据都是⼀个键值对
键的类型是字符串（键不能重复）
值的类型分为五种：
1. 字符串string：string的value可以有一定的数据结构
2. 哈希hash
3. 列表list：元素都是字符串，list{ "hello", "world" }
4. 集合set：元素都是字符串, set{ "hello", "world" }
5. 有序集合zset

数据操作行为

保存
修改
获取
删除

命令⽂档http://redis.cn/commands.html

5.1.String类型

在redis中，一个key对应一个value，value可以使string类型。

类型是Redis中最为基础的数据存储类型，它在Redis中是二进制安全的，这便意味着该类型可以接受任何格式的数据，如JPEG图像数据或Json对象描述信息等。在Redis中字符串类型的Value最多可以容纳的数据长度是512M。

保存

如果设置的键不存在则为添加，如果设置的键已经存在则修改，命令如下

设置键值

set key value

例1：设置键为name值为itcast的数据

set name itcast

设置键值及过期时间，以秒为单位

setex key seconds value

例2：设置键为aa值为aa过期时间为3秒的数据

setex aa 3 aa

设置多个键值

mset key1 value1 key2 value2

例3：设置键为'a1'值为'python'、键为'a2'值为'java'、键为'a3'值为'c'

mset a1 python a2 java a3 c

追加值：可以向已存在的key中追加值

append key value

例4：向键为a1中追加值' haha'

append 'a1' 'haha'

获取

获取一个值

根据键获取值，如果不存在此键则返回nil

get key

例5：获取键'name'的值

get 'name'

根据多个键获取多个值

mget key1 key2 ...

例6：获取键a1、a2、a3'的值

mget a1 a2 a3

删除

详⻅下节键的操作，删除键时会将值删除。

5.2. 键命令

键命令适合各种数据类型。

查找键

参数⽀持正则表达式

keys pattern

例1：查看所有键

keys

例2：查看名称中包含a的键

keys 'a*'

判断键是否存在，如果存在返回1，不存在返回0

exists key1

例3：判断键a1是否存在

exists a1

查看键对应的value的类型

type key

例4：查看键a1的值类型，为redis⽀持的五种类型中的⼀种

type a1

删除键及对应的值

del key1 key2 ...

例5：删除键a2、a3

del a2 a3

设置过期时间，以秒为单位（如果没有指定过期时间则⼀直存在，直到使⽤DEL移除）

expire key seconds

例6：设置键'a1'的过期时间为3秒

expire 'a1' 3

查看有效时间，以秒为单位

TTL key

例7：查看键'bb'的有效时间

TTL bb

5.3. hash

hash⽤于存储对象，对象的结构为属性、值
值的类型为string

增加、修改

设置单个属性

hset key field value

即：hset 键属性值

例1：设置键 user的属性name的值为itheima

hset user name itheima

如果报以下错误：

MISCONF Redis is configured to save RDB snapshots, but is currently not able to persist on disk. Commands that may modify the data set are disabled. Please check Redis logs for details about the error.

即：Redis被配置为保存数据库快照，但它目前不能持久化到硬盘。用来修改集合数据的命令不能用

原因：

强制关闭Redis快照导致不能持久化。
解决方案：
运行config set stop-writes-on-bgsave-error no 命令后，关闭配置项stop-writes-on-bgsave-error解决该问题。

设置多个属性

hmset key field1 value1 field2 value2 ...

例2：设置键u2的属性name为itcast、属性age为11

hmset u2 name itcast age 11

获取

获取指定键所有的属性

hkeys key

即：hkeys 键名

例3：获取键u2的所有属性

hkeys u2

获取⼀个属性的值

hget key field

即：hget 键名属性

例4：获取键u2属性'name'的值

hget u2 'name'

获取多个属性的值

hmget key field1 field2 ...

即：hmget 键属性1 属性2 ...

例5：获取键u2属性'name'、'age的值

hmget u2 name age

获取所有属性的值

hvals key

例6：获取键'u2'所有属性的值

hvals u2

删除

删除整个hash键及值，使⽤del命令

删除属性，属性对应的值会被⼀起删除

hdel key field1 field2 ...

例7：删除键'u2'的属性'age'

hdel u2 age

5.4. list

列表的元素类型为string
按照插⼊顺序排序

增加

在左侧插⼊数据

lpush key value1 value2 .

例1：从键为'a1'的列表左侧加⼊数据a 、 b 、c

lpush a1 a b c

在右侧插⼊数据

rpush key value1 value2 ...

例2：从键为'a1'的列表右侧加⼊数据0 1

rpush a1 0 1

在指定元素的前或后插⼊新元素

linsert key before或after 现有元素新元素

例3：在键为'a1'的列表中元素'b'前加⼊'3'

linsert a1 before b 3

获取

返回列表⾥指定范围内的元素
- start、stop为元素的下标索引
- 索引从左侧开始，第⼀个元素为0
- 索引可以是负数，表示从尾部开始计数，如-1表示最后⼀个元素

lrange key start stop

例4：获取键为'a1'的列表所有元素

lrange a1 0 -1

设置指定索引位置的元素值

索引从左侧开始，第⼀个元素为0
索引可以是负数，表示尾部开始计数，如-1表示最后⼀个元素

lset key index value
例5：修改键为'a1'的列表中下标为1的元素值为'z'

lset a1 1 z

删除

删除指定元素

将列表中前count次出现的值为value的元素移除
- count > 0: 从头往尾移除
- count < 0: 从尾往头移除
- count = 0: 移除所有

lrem key count value

例6.1：向列表'a2'中加⼊元素'a'、'b'、'a'、'b'、'a'、'b'

lpush a2 a b a b a b

例6.2：从'a2'列表右侧开始删除2个'b'

lrem a2 -2 b

例6.3：查看列表'a2'的所有元素：会看到后面2个b被删了

lrange a2 0 -1

5.5. set

set类型

⽆序集合
元素为string类型
元素具有唯⼀性，不重复
说明：对于集合没有修改操作

增加

添加元素

sadd key member1 member2 ...
例1：向键'a3'的集合中添加元素'zhangsan'、'lisi'、'wangwu'

sadd a3 zhangsan sili wangwu

获取

返回所有的元素

smembers key
例2：获取键'a3'的集合中所有元素

smembers a3

删除

删除指定元素

srem key member [member ...]
例3：删除键'a3'的集合中元素'wangwu'

srem a3 wangwu

5.6. zset

zset类型

sorted set，有序集合
元素为string类型
元素具有唯⼀性，不重复
每个元素都会关联⼀个double类型的score，表示权重，通过权重将元素从⼩到⼤排序
说明：没有修改操作

增加

添加

zadd key score1 member1 score2 member2 ...
例1：向键'a4'的集合中添加元素'lisi'、'wangwu'、'zhaoliu'、'zhangsan'，权重分别为4、5、6、3

zadd a4 4 lisi 5 wangwu 6 zhaoliu 3 zhangsan

获取

返回指定范围内的元素
- start、stop为元素的下标索引
- 索引从左侧开始，第⼀个元素为0
- 索引可以是负数，表示从尾部开始计数，如-1表示最后⼀个元素

zrange key start stop

例2：获取键'a4'的集合中所有元素

zrange a4 0 -1

返回score值在min和max之间的成员

zrangebyscore key min max

例3：获取键'a4'的集合中权限值在5和6之间的成员

zrangebyscore a4 5 6

返回成员member的score值

zscore key member

例4：获取键'a4'的集合中元素'zhangsan'的权重

zscore a4 zhangsan

删除

删除指定元素

zrem key member1 member2 ...

例5：删除集合'a4'中元素'zhangsan'

zrem a4 zhangsan

删除权重在指定范围的元素

zremrangebyscore key min max

例6：删除集合'a4'中权限在5、6之间的元素

zremrangebyscore a4 5 6

更多命令⽂档http://redis.cn/commands.html

6.与Python交互

redis命令参考文档

http://doc.redisfans.com/

redis.py参考文档

http://python.jobbole.com/87305/

6.1.安装包

安装Redis的有3种方式https://github.com/andymccurdy/redis-py

第一种：进⼊虚拟环境，联⽹安装包redis

pip install redis
第二种：进⼊虚拟环境，联⽹安装包redis

easy_install redis
第三种：到中⽂官⽹-客户端下载redis包的源码，使⽤源码安装,一步步执行

wget https://github.com/andymccurdy/redis-py/archive/master.zip
unzip master.zip
cd redis-py-master
sudo python setup.py install

6.2.调用模块

引⼊模块

from redis import *
这个模块中提供了StrictRedis对象(Strict严格)，⽤于连接redis服务器，并按照不同类型提供了不同⽅法，进⾏交互操作

6.3.StrictRedis对象⽅法

通过init创建对象，指定参数host、port与指定的服务器和端⼝连接，host默认为localhost，port默认为6379，db默认为0

sr = StrictRedis(host='localhost', port=6379, db=0)

简写
sr=StrictRedis()

根据不同的类型，拥有不同的实例⽅法可以调⽤，与前⾯学的redis命令对应，⽅法需要的参数与命令的参数⼀致

以下是各种数据类型的方法，对应各种数据类型的命令。

string

set
setex
mset
append
get
mget
key

keys

exists
type
delete
expire
getrange
ttl

hash

hset
hmset
hkeys
hget
hmget
hvals
hdel

list

lpush
rpush
linsert
lrange
lset
lrem

set

sadd
smembers
srem

zset

zadd
zrange
zrangebyscore
zscore
zrem
zremrangebyscore

redis.py参考文档

http://python.jobbole.com/87305/

6.4.StrictRedis对象操作string类型

下面以string类型为例，演示如何用StrictRedis对象操作string类型。

准备

在桌面上创建redis目录
使用pycharm打开 redis目录
创建redis_string.py文件

from redis import *
if __name__=="__main__":
    try:
        #创建StrictRedis对象，与redis服务器建⽴连接
        sr=StrictRedis()

    except Exception as e:
        print(e)

string-增加

⽅法set，添加键、值，如果添加成功则返回True，如果添加失败则返回False
编写代码如下

from redis import *
if __name__=="__main__":
    try:
        #创建StrictRedis对象，与redis服务器建⽴连接
        sr=StrictRedis()
        #添加键name，值为jason
        result=sr.set('name','jason')
        #输出响应结果，如果添加成功则返回True，否则返回False
        print(result)
    except Exception as e:
        print(e)

string-获取值

⽅法get，获取键对应的值，如果键存在则返回对应的值，如果键不存在则返回None
编写代码如下

from redis import *
if __name__=="__main__":
    try:
        #创建StrictRedis对象，与redis服务器建⽴连接
        sr=StrictRedis()
        #获取键name的值
        result = sr.get('name')
        #输出键的值，如果键不存在则返回None
        print(result)
    except Exception as e:
        print(e)

string-修改

⽅法set，如果键已经存在则进⾏修改，如果键不存在则进⾏添加
编写代码如下

from redis import *
if __name__=="__main__":
    try:
        #创建StrictRedis对象，与redis服务器建⽴连接
        sr=StrictRedis()
        #设置键name的值，如果键已经存在则进⾏修改，如果键不存在则进⾏添加
        result = sr.set('name','Mike')
        #输出响应结果，如果操作成功则返回True，否则返回False
        print(result)
    except Exception as e:
        print(e)

string-删除

⽅法delete，删除键及对应的值，如果删除成功则返回受影响的键数，否则则返回0
编写代码如下

from redis import *
if __name__=="__main__":
    try:
        #创建StrictRedis对象，与redis服务器建⽴连接
        sr=StrictRedis()
        #删除键name和值
        result = sr.delete('name')
        #输出响应结果，如果删除成功则返回受影响的键数，否则则返回0
        print(result)
    except Exception as e:
        print(e)

获取键

⽅法keys，根据正则表达式获取数据库中的键
编写代码如下

from redis import *
if __name__=="__main__":
    try:
        #创建StrictRedis对象，与redis服务器建⽴连接
        sr=StrictRedis()
        #获取数据库中所有的键
        result=sr.keys()
        #输出响应结果，所有的键构成⼀个列表，如果没有键则返回空列表
        print(result)
    except Exception as e:
        print(e)

6.5 Django中使用redis数据库存储session

django 的 session 默认是存在的数据库的 dajngo_session 表里面的，我们也可以把session存储在redis里面。

（除了下面的方法，还可以使用 django-redis包，参考：django-redis 中文文档 — Django-Redis 4.7.0 文档、用户指南）

准备工作

创建名为 test6 的Django项目和booktest应用
配置url

session的redis存储配置

安装包

pip install django-redis-sessions==0.5.6

（记：安装其他版本的包使用同样的配置会出问题，没法正确存到redis数据库，不知道确切原因）

修改项目的settings文件，增加如下项

SESSION_ENGINE = 'redis_sessions.session'  # 设置redis存储session信息
SESSION_REDIS_HOST = 'localhost'  # redis服务的ip地址
SESSION_REDIS_PORT = 6379  # redis服务的端口号
SESSION_REDIS_DB = 2  # redis中的哪个数据库
SESSION_REDIS_PASSWORD = ''
SESSION_REDIS_PREFIX = 'session' # session:唯一标识码

测试

打开booktest/views.py文件，创建session_set和session_get视图如下

def set_session(request):
    '''设置session'''
    request.session['username'] = 'smart'
    request.session['age'] = 18

    return HttpResponse('设置session')


def get_session(request):
    '''获取session'''
    username = request.session['username']
    age = request.session['age']

    return HttpResponse(username+':'+str(age))

打开booktest/urls.py文件，配置url如下

app_name = 'booktest'
urlpatterns = [
    path('set_session', views.set_session, name='set_session'),
    path('get_session', views.get_session, name='get_session'),
]

通过redis-cli客户端查看（如果不是用默认ip，记得切换ip）

127.0.0.1:6379[1]> select 2
OK
127.0.0.1:6379[2]> keys *
1) "session:o12pgwmja45az6mc2ybidmyt4mh07sz7"
127.0.0.1:6379[2]> get session:o12pgwmja45az6mc2ybidmyt4mh07sz7
"ZWVlOTIwZGExZGMyOTViOTU5MjVjMWI4NTY4M2ZkZjYyZjYyOWNkZjp7InVzZXJuYW1lIjoic21hcnQiLCJhZ2UiOjE4fQ=="

将查询结果复制到以下链接，进行解码可以看到结果即为存进去的值：

Base64在线解码：https://tool.oschina.net/encrypt?type=3

eee920da1dc295b95925c1b85683fdf62f629cdf:{"username":"smart","age":18}

7.搭建主从

7.1.主从概念

为了数据的备份、提高性能、读写分离等，通常会使用主从来实现。

⼀个master可以拥有多个slave，⼀个slave⼜可以拥有多个slave，如此下去，形成了强⼤的多级服务器集群架构
master用来写数据，slave用来读数据，经统计：网站的读写比率是10:1
通过主从配置可以实现读写分离

master和slave都是一个redis实例(redis服务)

7.2.主从配置

搭建redis主从的时候，两个redis服务可以在同一台电脑上，也可以不在同一台电脑上。只要能保证其能相互通信的即可。

配置主

查看当前主机的ip地址

ifconfig

找到自己机器的ip，假设为 192.168.43.202

修改etc/redis/redis.conf文件（按照前面配置时的目录打开，配置为当前主机的ip）

sudo vi /etc/redis/redis.conf

修改：
bind 192.168.43.202

重启redis服务

sudo service redis stop
redis-server redis.conf

注意，以上命令不能正确停止时，

（1）可以用 ps -ef | grep redis 查看进程号，再用 kill -9 ${pid} 停止。

（2）可以使用 redis-cli -h ip地址 -p 端口号shutdown 来停止。

ps -ef | grep redis

kill -9 ${pid}

sudo redis-server /etc/redis/redis.conf

配置从

复制/etc/redis/redis.conf文件，作为从属的配置文件。

cd /etc/redis/

sudo cp redis.conf slave.conf
修改redis/slave.conf文件

sudo vi slave.conf
编辑内容：bind从服务当前主机的ip、port要与master的port不一样、slaveof：slaveof <masterip> <masterport>

bind 192.168.43.202
slaveof 192.168.43.202 6379
port 6378
启动redis从服务

sudo redis-server /etc/redis/slave.conf
查看主从关系

redis-cli -h {ip} -p {port} info Replication

如：redis-cli -h 192.168.43.202 -p 6379 info Replication

返回信息：

# Replication
role:master
connected_slaves:1
slave0:ip=192.168.43.202,port=6378,state=online,offset=406,lag=1
master_replid:6af9d4b38b5e5167be7f1ac741280f3336bc6794
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:406
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:406

若在同一台机器上配置，命令 ps -ef | grep redis 可以看到主从服务的进程

root 60950 51240 0 15:23 ? 00:00:01 redis-server 192.168.43.202:6379
root 61030 51240 0 15:36 ? 00:00:00 redis-server 192.168.43.202:6378

7.3.数据操作

在master和slave分别执⾏info命令，查看输出信息
连接进入主服务客户端

redis-cli -h 192.168.43.202 -p 6379
连接进入从服务的客户端

redis-cli -h 192.168.43.202 -p 6378
在master上写数据

192.168.43.202:6379> set name Jason
OK

在slave上读数据

192.168.43.202:6378> get name
"Jason"

可见，在master上写入数据会自动备份到slave，而在slave中是不能进行主动写入的。

8.搭建集群

8.1.配置机器1

8.2.配置机器2

8.3.创建集群

8.4.与python交互

贴一个链接供参考：https://segmentfault.com/a/1190000015795054

为什么要有集群

之前我们已经讲了主从的概念，一主可以多从，如果同时的访问量过大,主服务肯定就会挂掉，数据服务就挂掉了或者发生自然灾难；
大公司都会有很多的服务器(华东地区、华南地区、华中地区、华北地区、西北地区、西南地区、东北地区、台港澳地区机房)；

集群的概念

集群是一组相互独立的、通过高速网络互联的计算机，它们构成了一个组，并以单一系统的模式加以管理。一个客户与集群相互作用时，集群像是一个独立的服务器。集群配置是用于提高可用性和可缩放性。

当请求到来首先由负载均衡服务器处理，把请求转发到另外的一台服务器上。

redis集群

分类
- 软件层面
- 硬件层面

软件层面：只有一台电脑，在这一台电脑上启动了多个redis服务。
硬件层面：存在多台实体的电脑，每台电脑上都启动了一个redis或者多个redis服务，通过网线连接，组成集群。

redis集群搭建http://www.cnblogs.com/wuxl360/p/5920330.html

8.1.配置机器1

（1）获取本机ip：在演示中，172.16.179.130为当前ubuntu机器的ip

（2）创建目录来放配置文件：在172.16.179.130上进⼊Desktop⽬录，创建conf⽬录

（3）创建配置文件：

在conf⽬录下创建⽂件7000.conf，编辑内容如下

port 7000
bind 172.16.179.130
daemonize yes
pidfile 7000.pid
cluster-enabled yes
cluster-config-file 7000_node.conf
cluster-node-timeout 15000
appendonly yes

在conf⽬录下创建⽂件7001.conf，编辑内容如下

port 7001
bind 172.16.179.130
daemonize yes
pidfile 7001.pid
cluster-enabled yes
cluster-config-file 7001_node.conf
cluster-node-timeout 15000
appendonly yes

在conf⽬录下创建⽂件7002.conf，编辑内容如下

port 7002
bind 172.16.179.130
daemonize yes
pidfile 7002.pid
cluster-enabled yes
cluster-config-file 7002_node.conf
cluster-node-timeout 15000
appendonly yes

总结：三个⽂件的配置区别在port、pidfile、cluster-config-file三项

（4）使⽤配置⽂件启动redis服务

redis-server 7000.conf
redis-server 7001.conf
redis-server 7002.conf

查看进程服务已经启动

root      63036  61671  0 18:15 ?        00:00:00 redis-server 172.16.179.130:7000 [cluster]
root      63071  61671  0 18:16 ?        00:00:00 redis-server 172.16.179.130:7001 [cluster]
root      63078  61671  0 18:16 ?        00:00:00 redis-server 172.16.179.130:7002 [cluster]

8.2.配置机器2

机器2安装时没移动到指定目录。

（1）获取本机ip：在演示中，172.16.179.131为当前ubuntu机器的ip

（2）创建目录来放配置文件：在172.16.179.131上进⼊Desktop⽬录，创建conf⽬录

（3）创建配置文件：

在conf⽬录下创建⽂件7003.conf，编辑内容如下

port 7003
bind 172.16.179.131
daemonize yes
pidfile 7003.pid
cluster-enabled yes
cluster-config-file 7003_node.conf
cluster-node-timeout 15000
appendonly yes

在conf⽬录下创建⽂件7004.conf，编辑内容如下

port 7004
bind 172.16.179.131
daemonize yes
pidfile 7004.pid
cluster-enabled yes
cluster-config-file 7004_node.conf
cluster-node-timeout 15000
appendonly yes

在conf⽬录下创建⽂件7005.conf，编辑内容如下

port 7005
bind 172.16.179.131
daemonize yes
pidfile 7005.pid
cluster-enabled yes
cluster-config-file 7005_node.conf
cluster-node-timeout 15000
appendonly yes

总结：三个⽂件的配置区别在port、pidfile、cluster-config-file三项

（4）使⽤配置⽂件启动redis服务

redis-server 7003.conf
redis-server 7004.conf
redis-server 7005.conf

8.3.创建集群

redis的安装包中包含了redis-trib.rb，⽤于创建集群
接下来的操作在172.16.179.130机器（主服务器所在）上进⾏：

将命令复制，这样可以在任何⽬录下调⽤此命令

sudo cp /usr/share/doc/redis-tools/examples/redis-trib.rb /usr/local/bin/

安装ruby环境，因为redis-trib.rb是⽤ruby开发的

sudo apt-get install ruby
安装完后，运⾏如下命令创建集群（注意换成自己的ip和port）

redis-trib.rb create --replicas 1 172.16.179.130:7000 172.16.179.130:7001 172.16.179.130:7002 172.16.179.131:7003 172.16.179.131:7004 172.16.179.131:7005

执⾏上⾯这个指令在某些机器上可能会报以下错,主要原因是由于安装的 ruby 不是最新版本（天朝的防⽕墙导致⽆法下载最新版本,所以需要设置 gem 的源）

/usr/local/bin/redis-trib.rb:1573: warning: key "threshold" is duplicated and overwritten on line 1573
/usr/lib/ruby/2.3.0/rubygems/core_ext/kernel_require.rb:55:in `require': cannot load such file -- redis (LoadError)
	from /usr/lib/ruby/2.3.0/rubygems/core_ext/kernel_require.rb:55:in `require'
	from /usr/local/bin/redis-trib.rb:25:in `<main>'

设置 gem 的源如下：（注：更换的源不保证能一直有效）

-- 先查看⾃⼰的 gem 源是什么地址
gem source -l -- 如果是https://rubygems.org/ 就需要更换
-- 更换指令为
gem sources --add https://gems.ruby-china.com/ --remove https://rubygems.org/
-- 通过 gem 安装 redis 的相关依赖
sudo gem install redis
-- 然后重新执⾏指令

redis-trib.rb create --replicas 1 172.16.179.130:7000 172.16.179.130:7001 172.16.179.130:7002 172.16.179.131:7003 172.16.179.131:7004 172.16.179.131:7005

提示主从信息，输⼊yes后回车（注意：一定要输入yes，而不是y），

/usr/local/bin/redis-trib.rb:1573: warning: key "threshold" is duplicated and overwritten on line 1573
>>> Creating cluster
>>> Performing hash slots allocation on 6 nodes...
Using 3 masters:
。。。。。。
Adding replica 192.168.3.202:7003 to 192.168.3.202:7000
。。。。。。
M: c997289a984078b00c69e847d4760dbc06cae5af 192.168.3.203:7000
   slots:0-5460 (5461 slots) master
。。。。。。
Can I set the above configuration? (type 'yes' to accept):

Adding replica 192.168.3.202:7003 to 192.168.3.202:7000，表明7003从属于7000......

提示完成，集群搭建成功

Nodes configuration updated
>>> Assign a different config epoch to each node
>>> Sending CLUSTER MEET messages to join the cluster
Waiting for the cluster to join....
。。。。。。
M: c997289a984078b00c69e847d4760dbc06cae5af 192.168.3.202:7000
   slots:0-5460 (5461 slots) master
。。。。。。
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.

slots:0-5460 (5461 slots) master 表示0-5460编号的槽分配到了 7000 上面（共有16384个槽）；

记一下踩的坑

（1）如果输入yes后，redis集群报错：Redis::CommandError，如下
/var/lib/gems/2.3.0/gems/redis-4.1.3/lib/redis/client.rb:126:in `call': ERR Slot 5461 is already busy (Redis::CommandError)
    from /var/lib/gems/2.3.0/gems/redis-4.1.3/lib/redis.rb:3272:in `block in cluster'
    from /var/lib/gems/2.3.0/gems/redis-4.1.3/lib/redis.rb:52:in `block in synchronize'
    from /usr/lib/ruby/2.3.0/monitor.rb:214:in `mon_synchronize'
    from /var/lib/gems/2.3.0/gems/redis-4.1.3/lib/redis.rb:52:in `synchronize'
    from /var/lib/gems/2.3.0/gems/redis-4.1.3/lib/redis.rb:3271:in `cluster'
    from /usr/local/bin/redis-trib.rb:212:in `flush_node_config'
    from /usr/local/bin/redis-trib.rb:711:in `block in flush_nodes_config'
    from /usr/local/bin/redis-trib.rb:710:in `each'
    from /usr/local/bin/redis-trib.rb:710:in `flush_nodes_config'
    from /usr/local/bin/redis-trib.rb:1209:in `create_cluster_cmd'
    from /usr/local/bin/redis-trib.rb:1609:in `<main>'
提示 slot插槽被占用，这是因为搭建集群前时，以前redis的旧数据和配置信息没有清理干净。

解决方案：

用redis-cli 登录到每个节点执行 flushall 和 cluster reset 。

登录：

redis-cli -h IP -p 端口

执行：

flushall
cluster reset
quit

然后再重新执行创建集群服务命令。

（2）redis集群 Waiting for the cluster to join 一直等待

redis集群不仅需要开通redis客户端连接的端口，而且需要开通集群总线端口,集群总线端口为redis客户端连接的端口 + 10000

开通的方法参考这个：https://www.cnblogs.com/kxm87/p/9561054.html

如果这个方法还是没有用，尝试下面的这个方法：https://blog.csdn.net/zenmin2015/article/details/78020609。

（报这个错很大程度上是网络的原因，我用一台机器来搞没出这个错，但是用两个机器弄了好久 (T^T) ）

（3）redis集群报错:(error) CLUSTERDOWN Hash slot not served

在网上找了好久，能用的方法都试过了，依旧没有解决

用命令查看了一下：redis-trib.rb check 你的ip:你的port
提示错误：Not all 16384 slots are covered by nodes.

官方是推荐使用redis-trib.rb fix 来修复集群，使用命令：redis-trib.rb fix 你的ip:你的port

（3）进行连接时，一定要启动集群模式(即"-c")，不然报错这类的 (error) MOVED 11469 192.168.163.123:7002

redis-cli -c -h yourhost -p yourpost

8.4.数据验证

搭建过程中，显示M的为主服务器，S为从服务器。

集群中，连接命令如下：其中参数 -c 表示连接到集群

redis-cli -c -h yourhost -p yourpost

集群是统一对外服务的，只要连接了一个节点，就可以认为连到整个集群上了。

类似下面，在192.168.43.202 上连接7003：redis-cli -c -h 192.168.43.202 -p 7003
写入数据：set name nametest
⾃动跳到了7001服务器，并写⼊数据成功
在7001可以获取数据，如果写入数据又重定向到另一个服务器(负载均衡)
集群中，每个节点之间是互通的，都会知道相互之间是什么状态

redis-cli -c -h 192.168.3.202 -p 7003

192.168.3.202:7003> set name nametest
-> Redirected to slot [5798] located at 192.168.3.202:7001
OK
192.168.3.202:7001> get name
"nametest"
192.168.3.202:7001> set sex man
-> Redirected to slot [2584] located at 192.168.3.202:7000
OK
192.168.3.202:7000>

Redirected to slot [5798] 表明数据写到了 5798 这个槽里；

在集群中，设置的数据应该放在哪个槽中呢？通过下面这个算法来计算的

在哪个服务器上写数据：CRC16

redis cluster在设计的时候，就考虑到了去中⼼化，去中间件，也就是说，集群中的每个节点都是平等的关系，都是对等的，每个节点都保存各⾃的数据和整个集群的状态。每个节点都和其他所有节点连接，⽽且这些连接保持活跃，这样就保证了我们只需要连接集群中的任意⼀个节点，就可以获取到其他节点的数据
Redis集群没有并使⽤传统的⼀致性哈希来分配数据，⽽是采⽤另外⼀种叫做哈希槽 (hash slot)的⽅式来分配的。redis cluster 默认分配了 16384 个slot，当我们 set⼀个key 时，会⽤CRC16算法来取模得到所属的slot，然后将这个key 分到哈希槽区间的节点上，具体算法就是：CRC16(key) % 16384。所以我们在测试的时候看到set 和 get 的时候，直接跳转到了7000端⼝的节点
Redis 集群会把数据存在⼀个 master 节点，然后在这个 master 和其对应的salve 之间进⾏数据同步。当读取数据时，也根据⼀致性哈希算法到对应的 master 节点获取数据。只有当⼀个master 挂掉之后，才会启动⼀个对应的 salve 节点，充当 master
需要注意的是：必须要3个或以上的主节点，否则在创建集群时会失败，并且当存活的主节点数⼩于总节点数的⼀半时，整个集群就⽆法提供服务了

关于集群的简介和机制，可以看看这个：https://blog.csdn.net/vtopqx/article/details/49246521

8.5.与python交互

在你要用的环境中，安装包如下

pip install redis-py-cluster
redis-py-cluster源码地址https://github.com/Grokzen/redis-py-cluster

创建⽂件redis_cluster.py，示例码如下：

from rediscluster import RedisCluster
if __name__ == '__main__':
  try:
      # 构建所有的节点，Redis会使⽤CRC16算法，将键和值写到某个节点上
      # 下面列表包含三个字典，是主节点的ip和port
      startup_nodes = [
          {'host': '192.168.26.128', 'port': '7000'},
          {'host': '192.168.26.130', 'port': '7003'},
          {'host': '192.168.26.128', 'port': '7001'},
      ]
      # 构建RedisCluster对象
      src=RedisCluster(startup_nodes=startup_nodes,decode_responses=True)
      # 设置键为name、值为jason的数据
      result=src.set('name','jason')
      print(result)
      # 获取键为name
      name = src.get('name')
      print(name)
  except Exception as e:
      print(e)

运行结束后，打开集群，执行 get name ，返回刚刚设置的值 jason。

（注意：新版的 redis-py-cluster 导入的是 RedisCluster，旧版的可能是StrictRedisCluster。）

-----end-----

在下能猫

关注

1
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
【笔记】redis数据库快速入门（各种踩坑o(︶︿︶)o 唉）

Redis数据库官方文档（中）：http://redis.cn/documentation.html官方文档（英）：https://redis.io/documentation以下内容为课件+个人笔记（各种踩坑）。简介安装配置服务端和客户端数据操作与Python交互搭建主从搭建集群1.简介NoSQL一类新出现的数据库(n...
复制链接

扫一扫