Nosql&Redis

Spursxuezhu

于 2019-11-11 22:20:30 发布

阅读量200

点赞数

本文链接：https://blog.csdn.net/Spursxuezhu/article/details/103018628

版权

1.Redis概述

1.1什么是Nosql

NoSQL(NoSQL = Not Only SQL )，意即“不仅仅是SQL”，它泛指非关系型的数据库。随着互联网2003年之后web2.0网站的兴起，传统的关系数据库在应付web2.0网站，特别是超大规模和高并发的交友类型的web2.0纯动态网站已经显得力不从心，暴露了很多难以克服的问题，而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。
关系型数据库:以关系(由行和列组成的二维表)模型为核心数据库. 有表的储存系统
RDBMS: mysql,oracle,SQLserver等

1.2Redis是什么
(1)Redis 是一个高性能的开源的、C语言写的Nosql（非关系型数据库），数据保存可以存储在内存中或者磁盘中。
(2)Redis 是以key-value形式存储，和传统的关系型数据库不一样。不一定遵循传统数据库的一些基本要求，比如说，不遵循sql标准，事务，表结构等等，redis严格上不是一种数据库，应该是一种数据结构化存储方法的集合。–数组 list set map …
数据结构:数组,list,set,map等
redis提供了一下操作方法,我们使用这些方法就可以对存入字符串,组织成各种类型数据库结构(string,list,set,map等).
小结：
(1)redis开源高性能nosql数据库，数据可以存储在内存或磁盘上面
(2)Redis 主要key-value结构形式存储，redis底层支持各种类型的数据存储结构
包括 list set map string等

1.3特点
1.数据保存在内存，存取速度快，并发能力强
2.它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、 zset(sorted set --有序集合)和hash（哈希类型）。
3.redis的出现，很大程度补偿了memcached这类key/value存储的不足，在部分场合可以对关系数据库（如MySQL）起到很好的补充作用。
4.它提供了Java，C/C++，C#，PHP，JavaScript等客户端，使用很方便。
5.Redis支持集群（主从同步）。数据可以主服务器向任意数量从的从服务器上同步，从服务器可以是关联其他从服务器的主服务器。
6.支持持久化，可以将数据保存在硬盘的文件中
7.支持订阅/发布（subscribe/publish）功能 QQ群

2.1使用场景

*2.5.1缓存
经常查询数据，放到读速度很快的空间(内存)，以便下次访问减少时间。减轻数据库压力，减少访问时间.而redis就是存放在内存中的。
Hibernte(JPA) 二级缓存 – ehcache框架

2.5.2.计数器应用
网站通常需要统计注册用户数，网站总浏览次数等等
新浪微博转发数、点赞数
在这里插入图片描述 2.5.3实时防攻击系统
暴力破解:使用工具不间断尝试各种密码进行登录。防：ip—>num,到达10次以后自动锁定IP,30分钟后解锁
解决方案：

登录操作的访问量非常大

2、static Map<String,int> longinFailNumMap;
Map存储空间有限，大批量就不行，并且断电以后数据丢失。
问题：
1、每次查询数据库,查询速度慢，多次写内存
2、断电会丢失数据,多个节点,不能共用 redis集群，容量可以无限大，可以共享数据、并且支持过期

2.5.4.设定有效期的应用
设定一个数据，到一定的时间失效。自动解锁，购物券

2.5.5.自动去重应用
Uniq 操作，获取某段时间所有数据排重值这个使用 Redis 的 set 数据结构最合适了，只需要不断地将数据往 set 中扔就行了，set 意为集合，所以会自动排重。

2.5.6.队列
构建队列系统使用 list 可以构建队列系统，使用 sorted set 甚至可以构建有优先级的队列系统。
秒杀：可以把名额放到内存队列（redis）,内存就能处理高并发访问。

2.5.7.消息订阅系统
Pub/Sub 构建实时消息系统 Redis 的 Pub/Sub 系统可以构建实时的消息系统，比如很多用 Pub/Sub 构建的实时聊天系统的例子。

比如QQ群消息

3.安装Redis服务端

Redis 的官方下载站是 http://redis.io/download，可以去上面下载最新的安装程序下来

http://redis.cn/

3.1.windows下的安装和使用
1.下载redis程序软件

使用redisbin32 或redisbin64
https://github.com/microsoftarchive/redis/releases

2.绿色软件,不需要安装，直接使用
在这里插入图片描述 3.启动redis服务(带配置文件启动,和不带配置文件启动)

4.连接到redis进行操作
cmd>{%redis%}/redis-cli -h ip地址 -p 端口号
ip 默认为本地 -p 默认6379
cmd>{%redis%}/redis-cli
5.基本用法
3.2.Linux下的安装和使用（了解）

1下载redis源码
wget http://download.redis.io/releases/redis-3.0.6.tar.gz
或者使用ftp上传redis-3.0.6.tar.gz
2安装redis
tar xf redis-3.0.6.tar.gz //解压
cd redis-3.0.6
//不需要配置参数不需要执行./configure
make && make install//编译&&安装
3将redis设置为系统服务
cp (redis源码目录)utils/redis_init_script /etc/init.d/redis
vim /etc/init.d/redis //修改红框处的代码

4修改redis.conf配置文件
mkdir /etc/redis //创建/etc/redis目录
cp redis.conf /etc/redis/redis.conf
vim /etc/redis.conf
//将redis配置文件复制到redis
//设置为守护进程,以后台方式运行
使用service redis start命令启动redis服务.

5 将redis服务设置为开机启动
chkconfig –-add redis
chkconfig –level 35 redis on

oneinstack:一站式部署tomcat,mysql,java,redis

3.3.小结

4.使用redis-cli 客户端操作redis

redis是key-value Nosql,我们能操作就只有key,以及各种类型vaule.但是做具体操作之前先设置密码,客户端访问时输入密码校验.

4.1.对字符串操作

对value为string类型的常用操作
set key value//将字符串值value关联到key
get key //返回key关联的字符串值
在这里插入图片描述
mset //同时设置一个或多个 key-value 对
mget //返回所有(一个或多个)给定 key 的值

incr key //将 key 中储存的数字值增1(key不存在,则初始化为0,再加1)
decr key //将 key 中储存的数字值减1(key不存在,则初始化为0,再减1)
incrBy key //自增多少
decrBy key
在这里插入图片描述
4.2.对key的常用操作

keys * //获取所有key列表
del key //删除key
expire key xx //设置key的过期时间(xx秒后过期)
ttl key //查看key的过期时间
flushall //清空整个redis服务器数据，所有的数据库全部清空
flushdb //清除当前库，redis中默认有16个数据库，名称分别为0,1,2.。。15
select index --select 0
在这里插入图片描述
4.3.对list集合的常用操作

Var arr=[{},{}] arr.push({})_
list集合可以看成是一个左右排列的队列(列表)
lpush key value //将一个或多个值 value 插入到列表 key 的表头(最左边)
rpush key value //将一个或多个值 value 插入到列表 key 的表尾(最右边)
在这里插入图片描述
lpop key//移除并返回列表 key 的头(最左边)元素。
rpop key= //移除并返回列表 key 的尾(最右边)元素。

lrange key start stop //返回列表 key 中指定区间内的元素，查询所有的stop为-1即可
lrem key count value //根据count值移除列表key中与参数 value 相等的元素count > 0 : 从表头开始向表尾搜索，移除与 value 相等的元素，数量为 count 。count < 0 : 从表尾开始向表头搜索，移除与 value 相等的元素，数量为 count 的绝对值。count = 0 : 移除表中所有与 value 相等的值。

在这里插入图片描述
lindex key index //返回列表 key 中，下标为 index 的元素
ltrim key start stop //对一个列表进行修剪

存放都是字符串,由redis组织成各种数据结构
???
rdis怎么实现栈(FILO)和队列(FIFO)???

list控制同一边进,同一边出就是栈
list控制一边进,另一边出就是队列.

4.4.对set集合的常用操作
set集合是一个无序的不含重复值的队列
sadd key member //将一个或多个 member 元素加入到集合 key 当中，已经存在于集合的 member 元素将被忽略
srem key member //移除集合 key 中的一个或多个 member 元素，不存在的 member 元素会被忽略
==smembers key == //返回集合 key 中的所有成员。
在这里插入图片描述
4.5.对hash类型的常用操作

hash类型类似于java的map
hset key name value//添加一个name=>value键值对到key这个hash类型
==hget key name ==//获取hash类型的name键对应的值
==hmset key name1 key1 name2 key2 ==//批量添加name=>value键值对到key这个hash类型
hmget key name1 name2//批量获取hash类型的键对应的值
hkeys //返回哈希表 key 中的所有键
==hvals ==//返回哈希表 key 中的所有值
hgetall //返回哈希表 key 中，所有的键和值
我们将user:1(name:zhangsan,age:18,sex:nv)的信息保存在hash表.

在这里插入图片描述 4.6.事务(了解)
multi //标记一个事务块的开始。
exec //执行所有事务块内的命令。
弱事务：日志
强事务：同时成功同时失败-- 金融数据
discard //取消事务，放弃执行事务块内的所有命令。
Redis的事务在执行exec指令时,才批量执行操作,没有回滚操作

4.7.订阅/发布(了解)
QQ群
SUBSCRIBE channel [channel …] //订阅给定的一个或多个频道的信息。
PUBLISH channel message //将信息 message 发送到指定的频道 channel 。
新开一个客户端订阅tv频道
在这里插入图片描述
发布nihao!消息到tv频道

订阅tv频道的客户端可以收到nihao!消息

4.8.设置密码(了解)

1.通过命令动态调整密码
CONFIG SET 命令可以动态地调整 Redis 服务器的配置而无须重启,重启后失效
CONFIG SET requirepass 123456 //将密码设置为123456
CONFIG SET requirepass “” //清除密码
AUTH 123456 //输入密码进行认证
在这里插入图片描述
2.通过配置文件设置密码
在配置文件redis.widows.conf中增加一行代码
requirepass 123456

将密码123456设置到配置文件中,redis启动时加载该文件,即可启用密码
在这里插入图片描述
4.9.对SortedSet（有序集合）的操作-参照API

5.java操作Redis

5.1.选择java客户端

原来mysql需要使用jdbc,现在需要redis的一个java客户端jedis。
jedis是客户端，而reids是服务器。使用jedis这个java客户端操作redis数据库。
在这里插入图片描述
5.2.Jedis简单操作

5.2.1.简单配置
使用jedis 客户端,完成jedis简单操作

@Test
public void test()throws Exception{
    //创建连接
    String host ="127.0.0.1";
    int port = 6379;
    int timeout = 1000;//超时时间,1秒超时
    Jedis jedis = new Jedis(host,port,timeout);
    jedis.auth("admin");
    //执行操作
    jedis.set("yhptest","yhptest dbl!");
    System.out.println(jedis.get("yhptest"));
    //关闭连接
    jedis.close();
}

5.2.2.连接池配置
通过jedis连接池，简单操作redis数据库
在这里插入图片描述

思想:如果创建一个对象后需要为他设置很多值,还不如先创建它配置对象并做完配置,然后再通过配置对象创建它
//1 创建jedispool配置对象
//2 做配置-四个
//3 创建jedispool
//4 通过jedispool获取连接
//5 执行操作
// 6 释放连接
// 7 摧毁连接池-如果是真正项目中它应该是一个受spring管理的单例
@Test
public void test()throws Exception{
    //1 创建jedispool配置对象
    JedisPoolConfig config = new JedisPoolConfig();
    //2 做配置-四个
    config.setMaxIdle(2);
    config.setMaxTotal(10);
    config.setMaxWaitMillis(1*1000); //创建连接超时
    config.setTestOnBorrow(true);//获取连接是测试连接是否畅通
    //3 创建jedispool
    //1*1000 获取连接超时时间
    JedisPool pool = new JedisPool(config,
            "127.0.0.1",6379,1*1000,"admin");
    //4 通过jedispool获取连接
    Jedis jedis = pool.getResource();
    //5 执行操作
    jedis.set("jedispooltest","dbldblddzt.....");
    System.out.println(jedis.get("jedispooltest"));
    // 6 释放连接
    jedis.close(); //底层做了兼容,如果是连接池操作就是释放,如果是连接操作就是关闭
    // 7 摧毁连接池-如果是真正项目中它应该是一个受spring管理的单例
    pool.destroy();
}

5.3.Jedis数据结构操作

使用jedis来操作redis的key和value，而value有很多种类型，和命令操作一样。

5.3.1.Key操作

System.out.println(jedis.keys("*"));

5.3.2.String操作

System.out.println(jedis.set("name","zhangsan"));//新增
System.out.println(jedis.get("name"));//获取
System.out.println(jedis.set("name","zhangsan1"));//修改
System.out.println(jedis.get("name"));//获取
System.out.println(jedis.del("name"));//删除
System.out.println(jedis.keys("*"));//查看所有的key

5.3.3.List操作

jedis.lpush("students1","1","2","3","5","6");
System.out.println(jedis.lrange("students1", 0, 3));

5.3.4.Set操作

//set操作
jedis.sadd("students2","a1","b1","c1","b1");
System.out.println(jedis.smembers("students2"));

5.3.5.Hash操作

jedis.hset("students3","student","zhangsan");
System.out.println(jedis.hget("students3", "student"));

5.4.Jedis排序
在这里插入图片描述

//对数字排序
jedis.flushDB();
jedis.lpush("nums","1","2","3","4","8","5","3","1");
System.out.println(jedis.sort("nums"));
SortingParams sortingParams1 = new SortingParams();
sortingParams1.desc();
System.out.println(jedis.sort("nums", sortingParams1));

//对字母排序
jedis.lpush("langues","java","php","c++","test","ui");
SortingParams sortingParams = new SortingParams();
sortingParams.alpha();
sortingParams.desc();

System.out.println(jedis.sort("langues",sortingParams));

5.5.Jedis事务
在这里插入图片描述

在这里插入图片描述
6.Redis持久化配置

6.1. 为什么需要持久化

有时候我们的服务一旦关了，数据就会丢失，但是有时候我们需要把数据存下来，所有在做持久化操作;

6.2.简介

Redis 提供了两种不同级别的持久化方式：RDB和AOF,可以通过修改redis.conf来进行配置.
在这里插入图片描述

6.3.RDB模式

RDB 持久化可以在指定的时间间隔内生成数据集的时间点快照,默认开启该模式.
如何关闭 rdb 模式:
save “”
save 900 1 //至少在900秒的时间段内至少有一次改变存储同步一次
save xxx
#save 60 10000

6.4.AOF追加模式

AOF 持久化记录服务器执行的所有写操作命令，并在服务器启动时，通过重新执行这些命令来还原数据集,默认关闭该模式。
如何开启aof模式:
appendonly yes //yes 开启,no 关闭
appendfsync always //每次有新命令时就执行一次fsync
#这里我们启用 everysec
appendfsync everysec //每秒 fsync 一次
#appendfsync no //从不fsync(交给操作系统来处理,可能很久才执行一次fsync)
其它的参数请大家看redis.conf配置文件详解

小结

redis是怎么保存数据?
redis为了考虑效率,保存数据在内容中.并且考虑数据安全性,还做数据持久化,如果满足保存策略，就会把内存的数据保存到数据rdb文件，还来不及保存那部分数据存放到aof更新日志中。在加载时，把两个数据做一个并集。

7.淘汰策略

7.1.为什么要淘汰数据
淘汰一些数据，达到redis数据都是有效的。选择合适的淘汰策略进行淘汰。

7.2.怎么淘汰
什么时候才淘汰数据: --》内存到一定极限的时候，这个时候，需要淘汰数据
淘汰一些数据，达到redis数据都是有效的。选择合适的淘汰策略进行淘汰。
volatile-lru：从已设置过期时间的数据集（server.db[i].expires）中挑选最近最少使用的数据淘汰
volatile-ttl：从已设置过期时间的数据集（server.db[i].expires）中挑选将要过期的数据淘汰

volatile-random：从已设置过期时间的数据集（server.db[i].expires）中任意选择数据淘汰
allkeys-lru：从数据集（server.db[i].dict）中挑选最近最少使用的数据淘汰
allkeys-random：从数据集（server.db[i].dict）中任意选择数据淘汰
no-enviction（驱逐）：禁止驱逐数据
redis 确定驱逐某个键值对后，会删除这个数据并，并将这个数据变更消息发布到本地（AOF 持久化）和从机（主从连接）。

Spursxuezhu

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
Nosql&Redis

1.Redis概述1.1什么是NosqlNoSQL(NoSQL = Not Only SQL )，意即“不仅仅是SQL”，它泛指非关系型的数据库。随着互联网2003年之后web2.0网站的兴起，传统的关系数据库在应付web2.0网站，特别是超大规模和高并发的交友类型的web2.0纯动态网站已经显得力不从心，暴露了很多难以克服的问题，而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。关...
复制链接

扫一扫