一、NoSQL
含义:
NoSQL 是 Not Only SQL 的缩写,意即"不仅仅是 SQL"的意思,泛指非关系型的数据库。强调 Key-Value Stores 和文档数据库的优点。
好处:
对数据高并发的读写
海量数据的读写
对数据高可扩展性的
不能使用的场景:
需要事务支持
基于 sql 的结构化查询存储,处理复杂的关系,需要关系查询。
使用NoSQL的场景:
不用sql也能查询
用sql也没有用
用不着 sql 的和用了 sql 也不行的情况,考虑用 NoSql
非关系型数据库:
MogoDB
Memcached
hBase
Roma
二、Redis简介
Redis 简介:
Redis 是一个开源的 key-value 存储系统
端口号:
6379
Redis 数据结构的多样性
使用场景:
1、数据缓存(提高访问性能)
查询概率 ------> 增删改的概率
将一些数据在短时间之内不会发生变化,而且它们还要被频繁访问,为了提高用户的请求速度和降低网站的负载,降低数据库的读写次数,就把这些数据放到缓存中。
2、会话缓存
session cache,主要适用于 session 共享 (string 类型)
3、排行榜/计数器
(NGINX+lua+redis 计数器进行 IP 自动封禁)(zset)
4、消息队列
构建实时消息系统,聊天,群聊) (list)
5· 粉丝 (set)
用于存储对象 (hash)
面试题
String: Strings 字符串 验证码 token
List : 有序列表
Set:集合
Sorted Set :zset 排名
Hash: 存放对象
三、Redis的安装以及启动停止
redis 安装
1、新建文件夹 /usr/redis/ 进入 redis 目录
2、安装时先安装 redis 所依赖的环境
yum -y install gcc-c++
3、下载redis的压缩包
yum install -y wget
wget https://download.redis.io/releases/redis-5.0.14.tar.gz
4、开始解压 redis
5、解压后进行编译
编译,进入 redis 解压目录,执行 make 命令编译
6、进行安装
make PREFIX=/usr/redis install (如果不加prefix 默认安装到/usr/local下面)
(如果命令执行不成功,换为 make install PREFIX=/usr/redis )
7、安装后查看 redis 安装在哪里
which redis-server
8、启动 redis 进入安装目录(/usr/redis)的 bin 下面,并启动 redis
出现上图,即为安装成功
修改配置文件
1、先将 redis.conf 文件进行修改
进入 cd redis-5.0.14 进入 vim redis.conf 进行修改
设置远程连接
设置后台启动: no 改为 yes #如果不想设置后台启动就不改
设置密码: 配置密码 如果需要 客户端连接的话需要设置密码 如果不需要连接就不要设置 (密码为 root )
配置好之后,进行复制
启动 redis 在 redis 的 bin 目录 下
连接 redis
或者使用 ./redis-cli -a root
关闭 redis ./redis-cli shutdown
配置服务启动 ( systemctl )
在/lib/systemd/system 目录下创建一个脚本文件 redis.service,里面的内容如下:
[Unit]
Description=Redis
After=network.target
[Service]
ExecStart=/usr/redis/bin/redis-server /usr/redis/bin/redis.conf
ExecStop=/usr/redis/bin/redis-cli -h 127.0.0.1 -p 6379 -a yyl shutdown
[Install]
WantedBy=multi-user.target
刚刚配置的服务需要让 systemctl 能识别,就必须刷新配置
systemctl daemon-reload 刷新配置
systemctl enable redis 开机自启
systemctl status redis redis 状态
systemctl start redis 开启 redis
systemctl stop redis 关闭 redis
systemctl disable redis 禁止开机自启
远程连接:
redis-cli -h host -p port -a password 远程连接 redis 服务
ping 测试连接
quit 关闭连接(connection)
客户端连接redis: Another-Redis-Desktop-Manager.1.6
新建连接:输入自己的端口号 以及 密码
auth 简单密码认证
查询数据库一共有多少:config get databases
选中一个数据库
设值 取值
获取所有的 key
key
默认 16 个数据库,类似数组下标从 0 开始,初始默认使用 0 号库
dbsize 查看当前数据库的 key 的数量
flushdb 清空当前库
flushall 通杀全部库
keys * 获取当前库中的所有key
select 0 选择第一个库
move key 1 将当前的数据库 key 移动到某个数据库,目标库有,则不能移动
randomkey 从当前数据库中随机返回
type key 类型
del key 删除 key
exists key 判断是否存在 key
expire key 10 为给定的key设置过期时间 单位是秒
pexpire key 1000 给定的key设置过期时间 单位:毫秒
persist key 删除key的过期时间
ttl key 查看还有多少秒过期,-1 表示永不过期,-2 表示已过期
四、常见数据类型
string 类型
简介
1、String是Redis最基本的类型,你可以理解成与Memcached一模一样的类型,一个key对应一个value。
2、String类型是二进制安全的。意味着Redis的string可以包含任何数据。比如jpg图片或者序列化的对象。
3、 String类型是Redis最基本的数据类型,一个Redis中字符串value最多可以是512M
常用命令
set 添加键值对
set <key><value>添加键值对
*NX:当数据库中key不存在时,可以将key-value添加数据库
*XX:当数据库中key存在时,可以将key-value添加数据库,与NX参数互斥
*EX:key的超时秒数
*PX:key的超时毫秒数
示例: set name cxx
设值取值
setex <key><过期时间><value>#设置键值的同时,设置过期时间,单位秒。
# set key val EX 80
# setex key 80 val
setnx key value 不存在就插入(not exists)
# set key val NX
-- 取值:
get <key>查询对应键值
示例:get name
getset <key><value> 以新换旧,设置了新值同时获得旧值。
示例: getset name new_cxx #给 name 的 value 设置新值,返回旧值
批量操作
mset key1 key2 批量设置key
msetnx <key1><value1><key2><value2> ..... 同时设置一个或多个 key-value 对,当且 仅当所有给定 key 都不存在 如果有一个存在就会不成功。
注意:有一个失败则都失败
mget key1 key2 批量获取
递增递减
incr <key>
将 key 中储存的数字值增1
只能对数字值操作,如果为空,新增值为1
示例:incr age
decr <key>
将 key 中储存的数字值减1
只能对数字值操作,如果为空,新增值为-1
示例:decr age #递减
incrby / decrby <key><步长>将 key 中储存的数字值增减。自定义步长。
示例: incrby age 10 递增
示例: decrby age 10 递减
incr 递增
decr 递减
incrby / decrby <key><步长>将 key 中储存的数字值增减。自定义步长。
数据结构
String的数据结构为简单动态字符串(Simple Dynamic String,缩写SDS)。是可以修改的字符串,内部结构实现上类似于Java的ArrayList,采用预分配冗余空间的方式来减少内存的频繁分配.
如图中所示,内部为当前字符串实际分配的空间capacity一般要高于实际字符串长度len。当字符串长度小于1M时,扩容都是加倍现有的空间(2倍),如果超过1M,扩容时一次只会多扩1M的空间。需要注意的是字符串最大长度为512M。
list 类型
简介
Redis 列表是简单的字符串列表,按照插入顺序排序。你可以添加一个元素到列表的头部(左边)或者尾部(右边)。它的底层实际是个双向链表,对两端的操作性能很高,通过索引下标的操作中间的节点性能会较差。
常用命令
添加值
lpush/rpush <key><value1><value2><value3> .... 从左边/右边插入一个或多个值。
lpop/rpop <key> 从左边/右边吐出一个值。值在键在,值光键亡。
rpoplpush <key1><key2> 从<key1>列表右边吐出一个值,插到<key2>列表左边。
取值
lrange <key><start><stop>
按照索引下标获得元素(从左到右)
示例: lrange mylist 0 -1
0左边第一个,-1右边第一个,(0 -1表示获取有)
lindex <key><index>按照索引下标获得元素(从左到右)
llen <key>获得列表长度
linsert <key> <before/after> <value><newvalue> 在<value>的后面插入<newvalue>插入值
lrem <key><n><value> 从左边删除n个对应的value值(从左到右)
示例: lrem k3 3 "test" #从左边开始删除k3里面的3个“test”
lset<key><index><value>将列表key下标为index的值替换成value
数据结构
List的数据结构为快速链表quickList。首先在列表元素较少的情况下会使用一块连续的内存存储,这个结构是ziplist,也即是压缩列表。(它将所有的元素紧挨着一起存储,分配的是一块连续的内存)。当数据量比较多的时候才会改成quicklist。
因为普通的链表需要的附加指针空间太大,会比较浪费空间。比如这个列表里存的只是int类型的数据,结构上还需要两个额外的指针prev和next。
Redis将链表和ziplist结合起来组成了quicklist。也就是将多个ziplist使用双向指针串起来使用。这样既满足了快速的插入删除性能,又不会出现太大的空间冗余。
hash类型
简介
hash是一个string类型的field和value的映射表,hash特别适合用于存储对象。
类似Java里面的Map<String,Object> 用户ID为查找的key,存储的value用户对象包含姓名,年龄,生日等信息,如果用普通的key/value结构来存储
通过第三种方式:( key(用户ID) + field(属性标签)) 就可以操作对应属性数据了,既不需要重复存储数据,也不会带来序列化和并发修改控制的问题
常用命令
hset <key><field><value>给<key>集合中的 <field>键赋值<value>
hget <key1><field> 从<key1>集合<field>取出 value
hmset <key1><field1><value1><field2><value2>... 批量设置hash的值
hexists<key1><field>查看哈希表 key 中,给定域 field 是否存在。
示例:hexists hhash username
hkeys <key>列出该hash集合的所有field
示例:hkeys hhash
hvals <key>列出该hash集合的所有value
示例:hvals hhash
hincrby <key><field><increment>为哈希表 key 中的域 field 的值加上增量 1 -1
示例: hincrby hhash age -12
hsetnx <key><field><value>将哈希表 key 中的域 field 的值设置为 value ,当且仅当域 field 不存在 .
示例: hsetnx hhash id 100
数据结构
Hash类型对应的数据结构是两种:ziplist(压缩列表),hashtable(哈希表)。当field-value长度较短且个数较少时,使用ziplist,否则使用hashtable。
ZipList 是一种特殊的“双端链表” ,由一系列特殊编码的连续内存块组成
。可以在任意一端进行压入/弹出操作
set 类型
简介
set对外提供的功能与list类似是一个列表的功能,特殊之处在于set是可以自动排重的,当你需要存储一个列表数据,又不希望出现重复数据时,set是一个很好的选择,并且set提供了判断某个成员是否在一个set集合内的重要接口,这个也是list所不能提供的。
常用命令
sadd <key><value1><value2> .....
将一个或多个 member 元素加入到集合 key 中,已经存在的 member 元素将被忽略
smembers <key>取出该集合的所有值。
sismember <key><value> 判断集合<key>是否为含有该<value>值,有1,没有0
scard <key> 返回该集合的元素个数。
srem <key><value1><value2> .... 删除集合中的某个元素。
spop <key> <count> 随机从该集合中吐出count个值。会从集合中删除数据
srandmember <key> <n> 随机从该集合中取出n个值。不会从集合中删除 。
smove <source><destination>value 把集合中一个值从一个集合移动到另一个集合
sinter <key1><key2> 返回两个集合的交集元素。
sunion <key1><key2> 返回两个集合的并集元素。
sdiff <key1><key2> 返回两个集合的差集元素(key1中的,不包含key2中的)
把集合中一个值从一个集合移动到另一个集合
数据结构
Set数据结构是dict字典,字典是用哈希表实现的。Java中HashSet的内部实现使用的是HashMap,只不过所有的value都指向同一个对象。Redis的set结构也是一样,它的内部也使用hash结构,所有的value都指向同一个内部值。
zset类型
简介
Redis有序集合zset与普通集合set非常相似,是一个没有重复元素的字符串集合。不同之处是有序集合的每个成员都关联了一个评分(score),这个评分(score)被用来按照从最低分到最高分的方式排序集合中的成员。集合的成员是唯一的,但是评分可以是重复了 。因为元素是有序的, 所以你也可以很快的根据评分(score)或者次序(position)来获取一个范围的元素。访问有序集合的中间元素也是非常快的,因此你能够使用有序集合作为一个没有重复成员的智能列表。
常用命令
zadd <key><score1><value1><score2><value2>…
将一个或多个 member 元素及其 score 值加入到有序集 key 当中。
zrange <key><start><stop> [WITHSCORES]
返回有序集 key 中,下标在<start><stop>之间的元素
带WITHSCORES,可以让分数一起和值返回到结果集。
zrangebyscore key min max [withscores] [limit offset count]
返回有序集 key 中,所有 score 值介于 min 和 max 之间(包括等于 min 或 max )的成员。有序集成员按 score 值递增(从小到大)次序排列。
示例:zrangebyscore tzset 3 4 limit 0 2
zrevrangebyscore key max min [withscores] [limit offset count]
同上,改为从大到小排列。
zincrby <key><increment><value> 为元素的score加上增量
zrem <key><value>删除该集合下,指定值的元素
zcount <key><min><max>统计该集合,分数区间内的元素个数
zrank <key><value>返回该值在集合中的排名,从0开始。
带withscores ,可以让分数一起和值返回到结果集。
limit limit 0 2 相当于分页 一页两条信息
min max 1 2 取 1 到 2 值为 100 20
把评分取出来需要加上 withscores
排序按照 score 值 排序 从小到大 或 从大到小
数据结构
SortedSet(zset)是Redis提供的一个非常特别的数据结构,一方面它等价于Java的数据结构Map<String, Double>,可以给每一个元素value赋予一个权重score,另一方面它又类似于TreeSet,内部的元素会按照权重score进行排序,可以得到每个元素的名次,还可以通过score的范围来获取元素的列表。
zset底层使用了两个数据结构
(1)hash,hash的作用就是关联元素value和权重score,保障元素value的唯一性,可以通过元素value找到相应的score值。
(2)跳跃表,跳跃表的目的在于给元素value排序,根据score的范围获取元素列表。
对比有序链表和跳跃表,从链表中查询出5
(1) 有序链表
要查找值为51的元素,需要从第一个元素开始依次查找、比较才能找到。共需要6次比较。
(2) 跳跃表
从第2层开始,1节点比51节点小,向后比较。
41节点比51节点小,继续向后比较,后面就是NULL了,所以从41节点向下到第1层
在第1层,41节点比51节点小,继续向后,61节点比51节点大,所以从61向下
在第0层,51节点为要查找的节点,节点被找到,共查找4次。
各数据的使用场景
类型 | 简介 | 特性 | 场景 |
String(字符串) | 二进制安全 | 可以包含任何数据,比如jpg图片或者序列化的对象,一个键最大能存储512M | --- |
Hash(字典) | 键值对集合,即编程语言中的Map类型 | 适合存储对象,并且可以像数据库中update一个属性一样只修改某一项属性值(Memcached中需要取出整个字符串反序列化成对象修改完再序列化存回去) | 存储、读取、修改用户属性 |
List(列表) | 链表(双向链表) | 增删快,提供了操作某一段元素的API | 1、最新消息排行等功能(比如朋友圈的时间线) 2、消息队列 |
Set(集合) | 哈希表实现,元素不重复 | 1、添加、删除、查找的复杂度都是O(1) 2、为集合提供了求交集、并集、差集等操作 | 1、共同好友 2、利用唯一性,统计访问网站的所有独立ip 3、好友推荐时,根据tag求交集,大于某个阈值就可以推荐 |
Sorted Set(有序集合) | 将Set中的元素增加一个权重参数score,元素按score有序排列 | 数据插入集合时,已经进行天然排序 | 1、排行榜 2、带权重的消息队列 |