一.Nosql
NoSQL 是 Not Only SQL 的缩写,意即"不仅仅是 SQL"的意思,泛指非关系型的数据库。强调 Key-Value Stores 和文档数据库的优点。
NoSQL 产品是传统关系型数据库的功能阉割版本,通过减少用不到或很少用的功能,来大幅度提高产品性能
- 不遵循 SQL 标准。 (添加 insert 修改 update )
- 不支持 ACID。
- 远超于 SQL 的性能。
二.nosql的起源
过去,关系型数据库(SQL Server、Oracle、MySQL)是数据持久化的唯一选择,但随着发展,关系型数据库存在以下问题。
1.不能满足高性能查询的需求
2.应用程序规模的变大
三.Nosql的使用
- 对数据高并发的读写
- 海量数据的读写
- 对数据高可扩展性的
Nosql 不适用的场景
- 需要事务支持
- 基于 sql 的结构化查询存储,处理复杂的关系,需要关系查询。
用不着 sql 的和用了 sql 也不行的情况,考虑用 NoSql
四.常见的Nosql及区别
区别:
1,Memcached
- 很早出现的 NoSql 数据库
- 数据都在内存中,一般不持久化
- 支持简单的 key-value 模式,支持类型单一
- 一般是作为缓存数据库辅助持久化的数据库(MySQL)
2,Redis
- 几乎覆盖了 Memcached 的绝大部分功能
- 数据都在内存中,支持持久化,主要用作备份恢复
- 除了支持简单的 key-value 模式,还支持多种数据结构的存储,比如 list、set、hash、zset 等。
- 一般是作为缓存数据库辅助持久化的数据库
3,MongoDB
- 高性能、开源、模式自由(schema free)的文档型数据库
- 数据都在内存中, 如果内存不足,把不常用的数据保存到硬盘
- 虽然是 key-value 模式,但是对 value(尤其是 json)提供了丰富的查询功能
- 支持二进制数据及大型对象
- 可以根据数据的特点替代 RDBMS,成为独立的数据库。或者配合 RDBMS,存储特定的数
五. Redis 简介
- Redis 是一个开源的 key-value 存储系统。
- 和 Memcached 类似,它支持存储的 value 类型相对更多,包括 string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和 hash(哈希类型)。
- 这些数据类型都支持 push/pop、add/remove 及取交集并集和差集及更丰富的操作,而且这些操作都是原子性的。
- 在此基础上,Redis 支持各种不同方式的排序。
- 与 memcached 一样,为了保证效率,数据都是缓存在内存中。
- 区别的是 Redis 会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件。
并且在此基础上实现了 master-slave(主从)同步
Redis的数据结构的多样性
六Redis的安装
1.下载 redis的压缩包
如果输入以上的命令出错,那就说明你没有下载wget。下载一下这个就好。
命令是:Yum -y install wget
2.开始安装的时候先安装 redis 所依赖的环境(有的话就不用安装)
yum -y install gcc-c++
3.解压redis
tar -zxvf redis-5.0.14.tar.gz
4.编译,进入 redis 解压目录,执行 make 命令编译.
5.启动
进入目录 /usr/redis 的bin下面,并且启动redis
修改配置文件
后台启动设置
no 改为 yes #如果不想设置后台启动就不改
set nu 是用来显示行数的
设置密码
requirepass yyl #配置密码 如果需要 客户端连接的话需要设置密码 如果不需要连接就不要设置
设置远程连接
# bind 127.0.0.1 #注释掉绑定本机,才可以远程连接访问
0.0.0.0 都可以访问
在/lib/systemd/system 目录下创建一个脚本文件 redis.service,里面的内容如下:
[Unit]
Description=Redis
After=network.target
[Service]
ExecStart=/usr/redis/bin/redis-server /usr/redis/bin/redis.conf
ExecStop=/usr/redis/bin/redis-cli -h 127.0.0.1 -p 6379 -a yyl shutdown
[Install]
WantedBy=multi-user.target
刚刚配置的服务需要让 systemctl 能识别,就必须刷新配置
systemctl daemon-reload 刷新配置
systemctl enable redis 开机自启
systemctl status redis redis 状态
systemctl start redis 开启 redis
systemctl stop redis 关闭 redis
systemctl disable redis 禁止开机自启
启动
./redis-server ./redis.conf
七. redis使用
1.进入redis 目录/usr/redis/bin/
2.keys * 获取所有的键 还可以检查有没有密码或者密码错误
输入密码 auth XXX 或直接在连接的时候输入密码
auth yyl
3.查询有多少数据库 config get databases
4.选中某个数据库 select XXX
select 0
5. 取值设置
6.获取所有的键
7.查看当前数据库的 key 的数量 dbsize
dbsize
8.清空当前库 flushdb
9.通杀全部库 flushall(了解就行,基本不用)
10.将当前的数据库 key 移动到某个数据库,目标库有,则不能移动 ( move key 1 )
11.从当前数据库中随机返回 randomkey
就是在当前数据库随机返回一个数据
12.查看类型 type key
13.删除 (del key)
删除 key
14.判断是否存在 (exists)
1表示存在0表示不存在
15.为给定的key设置过期时间 单位是秒(expire)
expire key 30
16.给定的key设置过期时间 单位:毫秒(pexpire)
pexpire key 1000
17.删除key的过期时间(persist)
persist key
18.查看还有多少秒过期,-1 表示永不过期,-2 表示已过期
ttl key
2.list类型
1.简介
Redis 列表是简单的字符串列表,按照插入顺序排序。你可以添加一个元素到列表的头部(左边)或者尾部(右边)。
它的底层实际是个双向链表,对两端的操作性能很高,通过索引下标的操作中间的节点性能会较差。
2.常用命令
添加值
取值
llen <key>获得列表长度
表key下标为index的值替换成value
3.数据结构
List的数据结构为快速链表quickList。
首先在列表元素较少的情况下会使用一块连续的内存存储,这个结构是ziplist,也即是压缩列表。
(它将所有的元素紧挨着一起存储,分配的是一块连续的内存)。
当数据量比较多的时候才会改成quicklist。
hash 类型
1简介
hash是一个string类型的field和value的映射表,hash特别适合用于存储对象。
类似Java里面的Map<String,Object>
用户ID为查找的key,存储的value用户对象包含姓名,年龄,生日等信息,如果用普通的key/value结构来存储
2常用的命令
1.可以分别储存hset
2.也可以一起储存 hmset
3.取一个值的话hget
4.获取所有的信息
5.获取所有信息的内容 就是value
hvals
hincrby 可以一个信息进行加减
6.如果存在那么就不存,如果没有,那么就会加上 hsetnx
3数据结构
Hash类型对应的数据结构是两种:ziplist(压缩列表),hashtable(哈希表)。当field-value长度较短且个数较少时,使用ziplist,否则使用hashtable。
ZipList 是一种特殊的“双端链表” ,由一系列特殊编码的连续内存块组成。可以在任意一端进行压入/弹出操作
set 类型
1.简介
set对外提供的功能与list类似是一个列表的功能,特殊之处在于set是可以自动排重的,当你需要存储一个列表数据,又不希望出现重复数据时,set是一个很好的选择,并且set提供了判断某个成员是否在一个set集合内的重要接口,这个也是list所不能提供的
2.常用命令
1.添加信息。一个信息=添加值sadd
2.>取出该集合的所有值 smembers
3.查看一个值中有没有这个信息,有的话,返回1,没有的话·返回0 sismember
4.返回该集合的元素个数。scard
5.srem 删除集合中的某个元素
6.spop <key> <count> 随机从该集合中吐出count个值。会从集合中删除数据
7.srandmember <key> <n> 随机从该集合中取出n个值。不会从集合中删除
8.smove <source><destination>value 把集合中一个值从一个集合移动到另一个集合
9.sinter <key1><key2> 返回两个集合的交集元素
10sunion <key1><key2> 返回两个集合的并集元素
11.sdiff <key1><key2> 返回两个集合的差集元素(key1中的,不包含key2中的)
3.数据结构
Set数据结构是dict字典,字典是用哈希表实现的。
Java中HashSet的内部实现使用的是HashMap,只不过所有的value都指向同一个对象。Redis的set结构也是一样,它的内部也使用hash结构,所有的value都指向同一个内部值
zset类型
1.简介
Redis有序集合zset与普通集合set非常相似,是一个没有重复元素的字符串集合。
不同之处是有序集合的每个成员都关联了一个评分(score),这个评分(score)被用来按照从最低分到最高分的方式排序集合中的成员。集合的成员是唯一的,但是评分可以是重复了 。
因为元素是有序的, 所以你也可以很快的根据评分(score)或者次序(position)来获取一个范围的元素。
访问有序集合的中间元素也是非常快的,因此你能够使用有序集合作为一个没有重复成员的智能列表。
2.常用指令
1.zadd <key><score1><value1><score2><value2>… 不允许有重复
将一个或多个 member 元素及其 score 值加入到有序集 key 当中。
2.zrange <key><start><stop> [WITHSCORES]
返回有序集 key 中,下标在<start><stop>之间的元素 带WITHSCORES,可以让分数一起和值返回到结果集。
3. zrangebyscore key min max [withscores] [limit offset count]
返回有序集 key 中,所有 score 值介于 min 和 max 之间(包括等于 min 或 max )的成员。有序集成员按 score 值递增(从小到大)次序排列。
示例:zrangebyscore tzset 3 4 limit 0 2
4.zrevrangebyscore key max min [withscores] [limit offset count]
同上,改为从大到小排列。
5.zincrby <key><increment><value> 为元素的score加上增量
6.zrem <key><value>删除该集合下,指定值的元素
7.count <key><min><max>统计该集合,分数区间内的元素个数
8.zrank <key><value>返回该值在集合中的排名,从0开始。
3.数据结构
SortedSet(zset)是Redis提供的一个非常特别的数据结构,一方面它等价于Java的数据结构Map<String, Double>,可以给每一个元素value赋予一个权重score,另一方面它又类似于TreeSet,内部的元素会按照权重score进行排序,可以得到每个元素的名次,还可以通过score的范围来获取元素的列表。
zset底层使用了两个数据结构
(1)hash,hash的作用就是关联元素value和权重score,保障元素value的唯一性,可以通过元素value找到相应的score值。
(2)跳跃表,跳跃表的目的在于给元素value排序,根据score的范围获取元素列4.表。
4.各数据的使用场景
类型 | 简介 | 特性 | 场景 |
String(字符串) | 二进制安全 | 可以包含任何数据,比如jpg图片或者序列化的对象,一个键最大能存储512M | --- |
Hash(字典) | 键值对集合,即编程语言中的Map类型 | 适合存储对象,并且可以像数据库中update一个属性一样只修改某一项属性值(Memcached中需要取出整个字符串反序列化成对象修改完再序列化存回去) | 存储、读取、修改用户属性 |
List(列表) | 链表(双向链表) | 增删快,提供了操作某一段元素的API | 1、最新消息排行等功能(比如朋友圈的时间线) 2、消息队列 |
Set(集合) | 哈希表实现,元素不重复 | 1、添加、删除、查找的复杂度都是O(1) 2、为集合提供了求交集、并集、差集等操作 | 1、共同好友 2、利用唯一性,统计访问网站的所有独立ip 3、好友推荐时,根据tag求交集,大于某个阈值就可以推荐 |
Sorted Set(有序集合) | 将Set中的元素增加一个权重参数score,元素按score有序排列 | 数据插入集合时,已经进行天然排序 | 1、排行榜 2、带权重的消息队列 |