6.1 什么是NOSQL?
nosql(not only sql)不仅仅是sql。NoSQL,泛指非关系型的数据库。非关系型的数据库则由于其本身的特点得到了非常迅速的发展。
非关系数据库和关系型数据库之间的区别:
RDBMS---关系型数据 - 高度组织化结构化数据。 - 结构化查询语言(SQL) select - 数据和关系都存储在单独的表中。 - 数据操纵语言DML,数据定义语言DDL - 严格的一致性. 事务 ACID - 基于事务 NoSQL--非关系型数据库---缓存数据 - 代表着不仅仅是SQL - 没有声明性查询语言 - 键 - 值对存储 key value - 非结构化和不可预知的数据 - 高性能,高可用性和可伸缩性。 适合搭建集群。
NOSQL的产品
Mongodb:
redis:
Hbase:针对大数据
6.2 redis
Redis是一种开放源代码(BSD许可)的内存中数据结构存储,用作数据库,缓存和消息代理。Redis提供数据结构,例如字符串,哈希,列表,集合,带范围查询的排序集合,位图,超日志,地理空间索引和流。Redis具有内置的复制,Lua脚本,LRU驱逐,事务和不同级别的磁盘持久性,并通过Redis Sentinel和Redis Cluster自动分区提供了高可用性。
6.3 redis的优点?
1.Redis读取的速度是110000次/s,写的速度是81000次/s2.原子 。Redis的所有操作都是原子性的,同时Redis还支持对几个操作全并后的原子性执行。3.支持多种数据结构:string(字符串);list(列表);hash(哈希),set(集合);zset(有序集合)4.持久化--磁盘,主从复制(集群)5.官方不支持window系统,但是又第三方版本。 linux系统。---
6.4 如何安装redis
安装redis的依赖。 yum install -y gc-c++ 解压redis安装包 进入redis解压目录 make 编译c语言 make install 安装redis 启动redis redis-server redis配置文件名
连接redis redis-cli 默认连接为127.0.0.1 端口号6379 redis-cli -h ip -p port 远程连接其他人的redis
6.5 简单了解一下redis.conf
设置redis后台启动
修改端口号
设置远程连接。
6.6 安装redis客户端界面
redisplus 免费
1 对key操作的命令
1. 查看所有的key [keys *] 2. 为指定的key设置过期时间。 [expire key seconds] 3. 查看key的剩余存活时间 ttl key 返回-1表示永远存在 -2不存在该key 4. 删除指定的key delete key... 返回结果为删除的个数 5. 判断指定的key是否存在 exists key
redis常用命令。
3.2 对redis数据库的操作
默认redis中由16库。可以通过修改redis配置文件更改数量。
select n: 切换redis库。n[0~databases-1] flushdb: 清空当前所在的库。 flushall: 清空所有库的内容。----
4. redis支持的数据类型。
我们使用频率最高是: Strings字符串类型,Lists列表类型,Sets集合类型,Hashes哈希类型,Sorted Sets 有序集合。这里所谓的类型,就是value的类型。
4.1 Strings类型
它的value值为String类型,在实际开发中,它可以存储任意的数据类型。因为任何对象可以转换为json字符串。它的默认存放的大小512M.
关于string类型的命令由哪些?
set key value: 存储指定key和value的值。 get key: 获取指定key的value值。 mset key value key value...:存储多个key和value的值 mget key key ...:获取多个key对应的value。 setnx key value: 如果指定的key存在,则不存入。如果不存在,则存入。 setex key second value: 存储指定的key和value并设置过期时间。 incr key: 对指定key的value递增。----点赞 收藏数 主键的递增 decr key: 对指定key的value递减
4.2 Hash哈希类型
它的value值为hash类型,hash类型由field和value组成。适合存储对象。
关于hash类型的命令由哪些?
hset key field value: 存储指定key的field和value值。 hget key field: 获取指定key的field对应的value值。 hgetall key: 获取在哈希表中指定 key 的所有字段和值 hkeys key: 获取指定key所有field名称 hvals key: 获取指定key的所有value值。 hdel key field: 删除指定key对应的field值
4.3 list列表类型
它的value类型为list列表类型,它的value可以是多个值,而且这些者可以重复,有序。一般使用在消息队列。
常用的方法
1.lpush key value value....:从左边存储指定key的对应列表值。 2.lpop key: 移出并获取列表的第一个元素 3.lrange key start end: 获取列表指定范围内的元素 4.lindex key index: 根据下标获取指定的元素 5.lset key index value: 修改指定坐标的元素内容
4.4 set集合类型
它的value类型是一个set集合类型,这个集合类型元素无需,且不能重复。求两个集合的交集
常见的命令
1.sadd key value....:向集合添加一个或多个成员 2.smembers key :返回集合中的所有成员 3.spop key: 随机获取某个元素并移除 4.sinter k1 k2.。。: 返回给定所有集合的交集
4.5 sort set有序集合
它的value类型为一个带分数的集合类型。按照分数排序。应用在: 排行榜
zadd key score value score value.....: 往redis中添加有序集合 zrange key start end: 获取指定返回的元素 ZREVRANGE k1 0 -1 WITHSCORES: 分数从高到低
5. redis的使用场景
1、热点数据的缓存: 减少对数据库的访问频率和减轻数据库的压力。 2. 限时业务的运用: 秒杀 存储登录者用户信息 存储短信验证码 3. 计数器相关问题: 点赞数 收藏数 播放量 4. 排行榜相关问题: sort set 5. 分布式锁:
6. redis的持久化
持久化:把内存中的数据库保存到磁盘上,防止数据的丢失。 redis支持的持久化方式两种: (1)RDB:快照 其实就是把数据以快照的形式保存在磁盘上,什么是快照呢,你可以理解成把当前时刻的数据拍成一张照片保存下来。 (2)AOF :日志追加 记录服务器接受的每个写入操作,当服务器启动时再次加载该日志,会把日志中的命令重新执行一遍。
6.1 RDB快照持久化方式
6.1.1 RDB的触发方式
1.手动触发 【1】save堵塞型保存 [2]bgsave非堵塞型保存 2.自动触发
默认保存的文件名: dump.rdb 可以在redis.conf名称
save
该命令会阻塞当前Redis服务器,执行save命令期间,Redis不能处理其他命令,直到RDB过程完成为止。具体流程如下:
执行完成时候如果存在老的RDB文件,就把新的替代掉旧的。我们的客户端可能都是几万或者是几十万,这种方式显然不可取。
bgsave:
执行该命令时,Redis会在后台异步进行快照操作,快照同时还可以响应客户端请求。具体流程如下:
自动触发rdb
修改redis的配置文件。
6.2 AOF日志追加持久化方式
默认该文件的名称:
默认aof不会开启。
查看
aof模式会把每个写操作,记录到一个日志文件,当redis启动时会把该日志中每个指令重新执行一遍。 数据恢复速度慢。数据完整性高。
如果两则都使用,恢复数据时按照aof恢复。因为redis认为它的完整性比较好。大多数使用rdb.
7. redis集群模式
redis单机版,出现单机故障后,导致redis无法使用,如果程序使用redis,间接导致程序出错。
redis的集群模式:
主从复制模式
哨兵模式
集群化模式
3.1 主从复制模式
一主多从模式。一个主节点,多个从节点,那么主节点可以负责:读操作,写操作。 从节点只能负责读操作,不能负责写操作。 这样就可以把读的压力从主节点分摊到从节点,以减少主节点的压力。
当主节点执行完写命令,会把数据同步到从节点。
(1)如何搭建主从关系
原则:配从不配主。
准备: 一主二从-----3台----开三个虚拟机--为了节省虚拟机,在一台主机开启三个redis服务。
7001主节点 7002和7003作为从节点
修改端口号以及rdb文件的名称.
启动redis服务
进入三个redis服务的客户端
查看三个redis服务的主从关系
配置7002和7003为7001的从节点
通过实验: 我们在主节点上执行set k1 v1 可以发现从节点也存在该数据.证明同步到从节点。
可以看出主节点可以读和写。但是从节点只能读。
思考: 1. 如果主节点挂了,从节点会不会上位? 不会 2. 如果增加一个新的从节点,新从节点会不会把之前的数据同步过来。会
3.2 哨兵模式
由于主从模式,主节点单机后,从节点不会自动上位。 增加一个哨兵服务,该哨兵时刻监控master,如果master挂了,哨兵会在从节点中选举一位为主节点【哨兵投票机制】。
修改配置
启动哨兵
redis-sentinel sentinel.conf
测试:
主节点挂掉:
shutdown---redis-cli客户端
思考:
老大归位--不在是老大。
3.3 集群化模式
不管上面的主从还是哨兵模式,都无法解决单节点写操作的问题。如果这时写操作的并发比较高。这是可以实验集群化模式【去中心化模式】
原理:
redis 集群中内置了 16384 个哈希槽,当需要在 Redis 集群中放置一个 key-value时,redis 先对 key 使用 crc16 算法算出一个整数结果,然后把结果对 16384 求余数,这样每个 key 都会对应一个编号在 0-16383 之间的哈希槽,redis 会根据节点数量大致均等的将哈希槽映射到不同的节点。
当你往Redis Cluster中加入一个Key时,会根据crc16(key) mod 16384计算这个key应该分布到哪个hash slot中,一个hash slot中会有很多key和value。你可以理解成表的分区,使用单节点时的redis时只有一个表,所有的key都放在这个表里;改用Redis Cluster以后会自动为你生成16384个分区表,你insert数据时会根据上面的简单算法来决定你的key应该存在哪个分区,每个分区里有很多key。
搭建:
三主三从: 6001 6002 6003 主节点 6004 6005 6006 从节点
Redis-1 防火墙--6379
bind 0.0.0.0 69行
port 6001 92行
daemonize yes 136行
dbfilename dump6001.rdb
# 打开aof 持久化
appendonly yes 700行
appendonly appendonly6001.aof
# 开启集群
cluster-enabled yes 833行
# 集群的配置文件,该文件自动生成
cluster-config-file nodes-6001.conf 841行
# 集群的超时时间
cluster-node-timeout 15000 847行
启动这六个redis服务
分配槽--分主从5.0前很复杂
redis-cli --cluster create --cluster-replicas 1 192.168.118.110:7000 192.168.118.110:7001 192.168.118.110:7002 192.168.118.111:7003 192.168.118.111:7004 192.168.118.111:7005
注意: 一定要保证每个节点都没有数据。
测试:
redis-cli ==-c== -h 192.168.223.155 -p 6001
可以把写操作均摊到不同的节点上,减轻了单个主节点的压力。
4. java连接redis.
redis支持哪些语言可以操作
4.1 使用jedis
(1)添加jedis依赖
(2)代码测试
@Test public void test01(){ //连接redis--->必须保证你的redis服务运行远程连接。 //该对象中把每个redis命令封装成对应的方法了。 Jedis jedis=new Jedis("192.168.223.155",6380); //对于字符串操作的命令 String s = jedis.set("k1", "v1"); System.out.println(s); String setex = jedis.setex("k2", 30l, "v2"); System.out.println(setex); Long aLong = jedis.setnx("k3", "v11"); System.out.println(aLong); //对于hash操作 jedis.hset("k4","name","刘德华"); jedis.hset("k4","age","15"); Map<String,String> map=new HashMap(); map.put("name","张需要"); map.put("age","28"); jedis.hset("k5",map); jedis.close(); }
4.2 使用连接池连接redis
public void test02(){ //创建连接池的配置类 JedisPoolConfig jedisPoolConfig=new JedisPoolConfig(); jedisPoolConfig.setMaxIdle(20); jedisPoolConfig.setMinIdle(5); jedisPoolConfig.setMaxWait(Duration.ofMillis(3000)); JedisPool jedisPool=new JedisPool(jedisPoolConfig,"192.168.223.155",6380); long start=System.currentTimeMillis(); for (int i = 0; i <1000 ; i++) { //从jedis连接池获取资源 Jedis jedis = jedisPool.getResource(); String ping = jedis.ping(); jedis.close();//是否资源到池子 } long end=System.currentTimeMillis(); System.out.println("总耗时:"+(end-start)); }
<bean id="" class="JedisPoolConfig">
<property name="maxIdle" value="20">
</bean>
@Autowire
4.3 java连接redis集群模式
@Test public void test03(){ Set<HostAndPort> nodes=new HashSet<>(); nodes.add(new HostAndPort("192.168.223.155",6001)); nodes.add(new HostAndPort("192.168.223.155",6002)); nodes.add(new HostAndPort("192.168.223.155",6003)); nodes.add(new HostAndPort("192.168.223.155",6004)); nodes.add(new HostAndPort("192.168.223.155",6005)); nodes.add(new HostAndPort("192.168.223.155",6006)); JedisCluster jedisCluster=new JedisCluster(nodes); jedisCluster.set("k6","刘德华和闫克起"); jedisCluster.close(); }
5. springboot整合redis
springboot对redis的操作封装了两个StringRedisTemplate和RedisTemplate类,StringRedisTemplate是RedisTemplate的子类,StringRedisTemplate它只能存储字符串类型,无法存储对象类型。要想用StringRedisTemplate存储对象必须把对象转为json字符串。