Redis入门到入土(day01)

已于 2023-04-25 21:32:46 修改
阅读量739 收藏 2
点赞数
文章标签： redis 数据库 memcached
于 2023-04-25 08:59:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lpblog/article/details/130356859
版权

NoSQL概述

为什么用NoSQL

1、单机MySQL的美好年代

在90年代，一个网站的访问量一般不大，用单个数据库完全可以轻松应付！
在那个时候，更多的都是静态网页，动态交互类型的网站不多。
上述架构下，我们来看看数据存储的瓶颈是什么？

  1. 数据量的总大小，一个机器放不下时
  2. 数据的索引（B+ Tree）一个机器的内存放不下时
  3. 访问量（读写混合）一个实例不能承受
    如果满足了上述 1 or 3个，进化…
    DAL：数据库访问层
    在这里插入图片描述

2、Memcached（缓存）+ MySQL + 垂直拆分

后来，随着访问量的上升，几乎大部分使用MySQL架构的网站在数据库上都开始出现了性能问题，web程序不再仅仅专注在功能上，同时也在追求性能。程序猿们开始大量使用缓存技术来缓解数据库的压力，优化数据库的结构和索引，开始比较流行的是通过文件缓存来缓解数据库压力，但是当访问量继续增大的时候，多台web机器通过文件缓存不能共享，大量的小文件缓存也带了比较高的IO压力，在这个时候，Memcached就自然的成为一个非常时尚的技术产品。
在这里插入图片描述

3、MySQL主从读写分离

缓存主要解决读的问题

由于数据库的写入压力增加，Memcached只能缓解数据库的读取压力，读写集中在一个数据库上让数据库不堪重负，大部分网站开始使用主从复制技术来达到读写分离，以提高读写性能和读库的可扩展性，MySQL的master-slave模式成为这个时候的网站标配了
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

4、分表分库 + 水平拆分 + Mysql 集群

在Memcached的高速缓存，MySQL的主从复制，读写分离的基础之上，这时MySQL主库的写压力开始出现瓶颈，而数据量的持续猛增，由于MyISAM使用表锁，在高并发下会出现严重的锁问题，大量的高并发MySQL应用开始使用InnoDB引擎代替MyISAM。同时，开始流行使用分表分库来缓解写压力和数据增长的扩展问题，这个时候，分表分库成了一个热门技术，是面试的热门问题，也是业界讨论的热门技术问题。也就是在这个时候，MySQL推出了还不太稳定的表分区，这也给技术实力一般的公司带来了希望。虽然MySQL推出了MySQL Cluster集群，但性能也不能很好满足互联网的需求，只是在高可靠性上提供了非常大的保证。
在这里插入图片描述

在这里插入图片描述

5、MySQL 的扩展性瓶颈

MySQL数据库也经常存储一些大文本的字段，导致数据库表非常的大，在做数据库恢复的时候就导致非常的慢，不容易快速恢复数据库，比如1000万4KB大小的文本就接近40GB的大小，如果能把这些数据从MySQL省去，MySQL将变的非常的小，关系数据库很强大，但是它并不能很好的应付所有的应用场景，MySQL的扩展性差（需要复杂的技术来实现），大数据下IO压力大，表结构更改困难，正是当前使用MySQL的开发人员面临的问题

6、今天是什么样子？？

在这里插入图片描述

7、为什么用NoSQL？

今天我们可以通过第三方平台（如：Google，FaceBook等）可以很容易的访问和抓取数据。用户的个人信息，社交网络，地理位置，用户生成的数据和用户操作日志已经成倍的增加、我们如果要对这些用户数据进行挖掘，那SQL数据库已经不适合这些应用了，而NoSQL数据库的发展却能很好的处理这些大的数据！

什么是NoSQL

NoSQL

NoSQL = Not Only SQL，意思：不仅仅是SQL；
泛指非关系型的数据库，随着互联网Web2.0网站的兴起，传统的关系数据库在应付web2.0网站，特别
是超大规模和高并发的社交网络服务类型的Web2.0纯动态网站已经显得力不从心，暴露了很多难以克服
的问题，而非关系型的数据库则由于其本身的特点得到了非常迅速的发展，NoSQL数据库的产生就是为
了解决大规模数据集合多种数据种类带来的挑战，尤其是大数据应用难题，包括超大规模数据的存储。
（例如谷歌或Facebook每天为他们的用户收集万亿比特的数据）。这些类型的数据存储不需要固定的模
式，无需多余操作就可以横向扩展。

NoSQL的特点

1、易扩展

NoSQL 数据库种类繁多，但是一个共同的特点都是去掉关系数据库的关系型特性。
数据之间无关系，这样就非常容易扩展，也无形之间，在架构的层面上带来了可扩展的能力。

2、大数据量高性能

NoSQL数据库都具有非常高的读写性能，尤其是在大数据量下，同样表现优秀。这得益于它的非关系
性，数据库的结构简单。
一般MySQL使用Query Cache，每次表的更新Cache就失效，是一种大力度的Cache，在针对Web2.0的
交互频繁应用，Cache性能不高，而NoSQL的Cache是记录级的，是一种细粒度的Cache，所以NoSQL
在这个层面上来说就要性能高很多了。
官方记录：Redis 一秒可以写8万次，读11万次！

3、多样灵活的数据模型

NoSQL无需事先为要存储的数据建立字段，随时可以存储自定义的数据格式，而在关系数据库里，增删
字段是一件非常麻烦的事情。如果是非常大数据量的表，增加字段简直就是噩梦。

4、传统的RDBMS VS NoSQL

传统的关系型数据库 RDBMS
- 高度组织化结构化数据
- 结构化查询语言（SQL）
- 数据和关系都存储在单独的表中
- 数据操纵语言，数据定义语言
- 严格的一致性
- 基础事务
NoSQL
- 代表着不仅仅是SQL
- 没有声明性查询语言
- 没有预定义的模式
- 键值对存储，列存储，文档存储，图形数据库
- 最终一致性，而非ACID属性
- 非结构化和不可预知的数据
- CAP定理
- 高性能，高可用性 和 可伸缩性

拓展：3V+3高

大数据时代的3V ： 主要是对问题的描述
海量 Volume
多样 Variety
实时 Velocity
互联网需求的3高 ： 主要是对程序的要求
高并发
高可用
高性能
当下的应用是 SQL 和 NoSQL 一起使用，技术没有高低之分，就看你怎么用，对吧！

NoSQL四大分类

KV键值：

新浪：BerkeleyDB+redis
美团：redis+tair
阿里、百度：memcache+redis

文档型数据库(bson格式比较多)：

CouchDB
MongoDB
MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写。旨在为 WEB 应用提供可
扩展的高性能数据存储解决方案。
MongoDB 是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰
富，最像关系数据库的。

列存储数据库：

Cassandra, HBase
分布式文件系统

图关系数据库

它不是放图形的，放的是关系比如:朋友圈社交网络、广告推荐系统
社交网络，推荐系统等。专注于构建关系图谱
Neo4J, InfoGrid
在这里插入图片描述

Redis入门

概述

Redis是什么

Redis：REmote DIctionary Server（远程字典服务器）
是完全开源免费的，用C语言编写的，遵守BSD协议，是一个高性能的（Key/Value）分布式内存数据
库，基于内存运行，并支持持久化的NoSQL数据库，是当前最热门的NoSQL数据库之一，也被人们称为
数据结构服务器
Redis与其他key-value缓存产品有以下三个特点

  • Redis支持数据的持久化，可以将内存中的数据保持在磁盘中，重启的时候可以再次加载进行使
    用。
  • Redis不仅仅支持简单的 key-value 类型的数据，同时还提供list、set、zset、hash等数据结构的存
    储。
  • Redis支持数据的备份，即master-slave模式的数据备份。

Redis能干嘛

内存存储和持久化：redis支持异步将内存中的数据写到硬盘上，同时不影响继续服务
取最新N个数据的操作，如：可以将最新的10条评论的ID放在Redis的List集合里面
发布、订阅消息系统
地图信息分析
定时器、计数器
…

特性

数据类型、基本操作和配置
持久化和复制，RDB、AOF
事务的控制
…

windos安装

linux安装

cd /usr/local/bin
ls -l
在redis的解压目录下备份redis.conf
mkdir myredis
cp redis.conf myredis # 拷一个备份，养成良好的习惯，我们就修改这个文件
修改配置保证可以后台应用
vim redis.conf

在这里插入图片描述

  • A、redis.conf配置文件中daemonize守护线程，默认是NO。
  • B、daemonize是用来指定redis是否要用守护线程的方式启动。
    daemonize 设置yes或者no区别
  • daemonize:yes
    redis采用的是单进程多线程的模式。当redis.conf中选项daemonize设置成yes时，代表开启守护进程模式。在该模式下，redis会在后台运行，并将进程pid号写入至redis.conf选项
    pidfile设置的文件中，此时redis将一直运行，除非手动kill该进程。
  • daemonize:no
    当daemonize选项设置成no时，当前界面将进入redis的命令行界面，exit强制退出或者关闭连接工具(putty,xshell等)都会导致redis进程退出。
# 【shell】启动redis服务 这是当前终端
[root@192 bin]# cd /usr/local/bin
[root@192 bin]# redis-server kconfig/redis.conf
# redis客户端连接===> 观察地址的变化，如果连接ok,是直接连上的，redis默认端口号 6379
[root@192 bin]# redis-cli -p 6379 连接服务，保证服务已开启
127.0.0.1:6379> ping
PONG
127.0.0.1:6379> set k1 helloworld
OK
127.0.0.1:6379> get k1
"helloworld"
# 【shell】ps显示系统当前进程信息 这是另外一个终端
[root@192 myredis]# ps -ef|grep redis
root 16005 1 0 04:45 ? 00:00:00 redis-server
127.0.0.1:6379
root 16031 15692 0 04:47 pts/0 00:00:00 redis-cli -p 6379
root 16107 16076 0 04:51 pts/2 00:00:00 grep --color=auto redis
# 【redis】关闭连接
127.0.0.1:6379> shutdown
not connected> exit

# 【shell】ps显示系统当前进程信息
[root@192 myredis]# ps -ef|grep redis
root 16140 16076 0 04:53 pts/2 00:00:00 grep --color=auto redis

基础知识说明
准备工作：开启redis服务，客户端连接

redis压力测试工具-----Redis-benchmark

Redis-benchmark是官方自带的Redis性能测试工具，可以有效的测试Redis服务的性能。
在这里插入图片描述

# 测试一：100个并发连接，100000个请求，检测host为localhost 端口为6379的redis服务器性
能
redis-benchmark -h localhost -p 6379 -c 100 -n 100000
# 测试出来的所有命令只举例一个！
====== SET ======
100000 requests completed in 1.88 seconds # 对集合写入测试
100 parallel clients # 每次请求有100个并发客户端
3 bytes payload # 每次写入3个字节的数据，有效载荷
keep alive: 1 # 保持一个连接，一台服务器来处理这些请求
17.05% <= 1 milliseconds
97.35% <= 2 milliseconds
99.97% <= 3 milliseconds
100.00% <= 3 milliseconds # 所有请求在 3 毫秒内完成
53248.14 requests per second # 每秒处理 53248.14 次请求

基本数据库常识

默认16个数据库，类似数组下标从零开始，初始默认使用零号库

查看 redis.conf ，里面有默认的配置
databases 16
# Set the number of databases. The default database is DB 0, you can select
# a different one on a per-connection basis using SELECT <dbid> where
# dbid is a number between 0 and 'databases'-1
databases 16

Select命令切换数据库

127.0.0.1:6379> select 7
OK
127.0.0.1:6379[7]>
# 不同的库可以存不同的数据

Dbsize查看当前数据库的key的数量

127.0.0.1:6379> select 7
OK
127.0.0.1:6379[7]> DBSIZE
(integer) 0
127.0.0.1:6379[7]> select 0
OK
127.0.0.1:6379> DBSIZE
(integer) 5
127.0.0.1:6379> keys * # 查看具体的key
1) "counter:__rand_int__"
2) "mylist"
3) "k1"
4) "myset:__rand_int__"
5) "key:__rand_int__"

Flushdb：清空当前库
Flushall：清空全部的库

127.0.0.1:6379> DBSIZE
(integer) 5
127.0.0.1:6379> FLUSHDB
OK
127.0.0.1:6379> DBSIZE
(integer) 0

为什么默认端口是6379？粉丝效应！

为什么redis是单线程

我们首先要明白，Redis很快！官方表示，因为Redis是基于内存的操作，CPU不是Redis的瓶颈，Redis的瓶颈最有可能是机器内存的大小或者网络带宽。既然单线程容易实现，而且CPU不会成为瓶颈，那就顺理成章地采用单线程的方案了！
Redis采用的是基于内存的采用的是单进程单线程模型的 KV 数据库，由C语言编写，官方提供的数据是可以达100000+的QPS（每秒内查询次数）。这个数据不比采用单进程多线程的同样基于内存的 KV数据库 Memcached 差！

Redis为什么这么快？

1）以前一直有个误区，以为：高性能服务器 一定是多线程来实现的
原因很简单因为误区二导致的：多线程 一定比 单线程 效率高，其实不然！
在说这个事前希望大家都能对 CPU 、 内存 、 硬盘的速度都有了解了！
2）redis 核心就是 如果我的数据全都在内存里，我单线程的去操作 就是效率最高的，为什么呢，因为
多线程的本质就是 CPU 模拟出来多个线程的情况，这种模拟出来的情况就有一个代价，就是上下文的切换，对于一个内存的系统来说，它没有上下文的切换就是效率最高的。redis 用 单个CPU 绑定一块内存的数据，然后针对这块内存的数据进行多次读写的时候，都是在一个CPU上完成的，所以它是单线程处理这个事。在内存的情况下，这个方案就是最佳方案。
因为一次CPU上下文的切换大概在 1500ns 左右。从内存中读取 1MB 的连续数据，耗时大约为 250us，
假设1MB的数据由多个线程读取了1000次，那么就有1000次时间上下文的切换，那么就有1500ns *1000 = 1500us ，我单线程的读完1MB数据才250us ,你光时间上下文的切换就用了1500us了，我还不算你每次读一点数据 的时间。

lpblog
关注
Redis框架从入门到学精（全）
码农研究僧的博客
07-02 2万+
目录前言1.NoSQL2.Redis2.1 软件安装数据类型 前言 解决功能新问题：JAVA jsp rdsms tomcat html linux jdbc svn 解决发展性问题：strtus spring springmvc hibernate mybatis 解决性能问题：NOSQL java 线程 hadoop nginx mq elasticsearch 1.NoSQL NoSQL特点 非关系型数据库，不依赖业务逻辑数据库存储，以简单key-value存储 适用于 ~高并发读写 ~海量数据读
Redis入门到入土(day03)
lpblog的博客
05-08 829
Redis 是内存数据库，如果不将内存中的数据库状态保存到磁盘，那么一旦服务器进程退出，服务器中的数据库状态也会消失。所以 Redis 提供了持久化功能！
Redis入门到入土(day02)
lpblog的博客
04-25 887
全段翻译：Redis是一个开放源代码（BSD许可）的内存中数据结构存储，用作数据库，缓存和消息代理。它支持数据结构，例如字符串，哈希，列表，集合，带范围查询的排序集合，位图，超日志，带有半径查询和流的地理空间索引。Redis具有内置的复制，Lua脚本，LRU驱逐，事务和不同级别的磁盘持久性，并通过Redis Sentinel和Redis Cluster自动分区提供了高可用性。
flask入门到入土
07-17 187
# Flask ## 0.Flask简介 Flask是一个基于Python开发并且依赖jinja2模板和Werkzeug WSGI服务的一个微型框架，对于Werkzeug本质是Socket服务端，其用于接收http请求并对请求进行预处理，然后触发Flask框架，开发人员基于Flask框架提供的功能对请求进行相应的处理，并返回给用户，如果要返回给用户复杂的内容时，需要借助...
Flask从入门到入土
weixin_30838921的博客
05-06 165
一、flask介绍 Flask是一个基于Python开发并且依赖jinja2模板和Werkzeug WSGI服务的一个微型框架，对于Werkzeug本质是Socket服务端，其用于接收http请求并对请求进行预处理，然后触发Flask框架，开发人员基于Flask框架提供的功能对请求进行相应的处理，并返回给用户，如果要返回给用户复杂的内容时，需要借助jinja2模板来实现对模板的处理，即：将模板和...
决战Go语言从入门到入土v0.1
热门推荐
小小明-代码实体的专栏
02-12 1万+
go语言从入门到入土
运维知识点-MySQL从小白到入土
aming小老弟
11-04 661
获取表rider_users中字段id的备注信息：sql。
Ajax&Json基础学习和redis基础学习
H.千面的博客
07-09 363
学习网站：黑马最新JavaWeb入门到入土（idea版）day22-23的课程 文章目录一、Ajax（1）原生的JS实现方式（了解，用得不多）（2）JQeury实现方式1）$.ajax()2） $.get()：发送get请求3）$.post()：发送post请求二、JSON（1）获取数据（2）JSON数据和Java对象的相互转换三、案例：校验用户名是否存在四、Redis1、概念2、NOSQL和关系型数据库比较3、Redis的使用（1）下载安装：（2）redis的数据结构：（3）字符串类型 string 一、
Redis基础学习
H.千面的博客
12-04 195
学习地址：黑马最新JavaWeb入门到入土（idea版）day22-23的课程 配套资源：Ajax&Json基础学习和redis基础学习.zip Ajax和Json的博客： 使用Ajax和Json还有Redis实现的案例： 压缩包文件内容： 文章目录四、Redis1、概念2、NOSQL和关系型数据库比较3、Redis的使用（1）下载安装：（2）redis的数据结构：（3）字符串类型 string（4）哈希类型hash（5）列表类型 list:可以添加一个元素到列表的头部（左边）或者尾部（右边）（6
案例：省份下拉列表，使用缓存，通过Ajax、Json、Redis加载所有省份
H.千面的博客
12-04 435
学习地址：黑马最新JavaWeb入门到入土（idea版）day22-23的课程 配套资源：Ajax&Json基础学习和redis基础学习.zip Redis的博客：https://blog.csdn.net/H200102/article/details/110645867 Ajax和Json的博客：https://blog.csdn.net/H200102/article/details/110646225 压缩包文件内容： 文章目录五、案例：省份下拉列表，使用缓存，通过ajax加载所有省份1、
Redis入门到精通最新教学视频
07-26
Redis入门到精通最新教学视频！！！！！！！！！！！！！！！！！！！
Redis实战 Redis入门到精通
02-26
《Redis实战》是《Redis in Action》一书的中文翻译版， 该书深入浅出地介绍了 Redis 的字符串、列表、散列、集合、有序集合等五种结构， 并通过文章聚合网站、cookie、购物车、网页缓存、日志、计数器、IP 所属地址...
Redis入门到精通视频教程
08-10
01_redis入门 02_redis 数据类型 03_redis 通用指令 04_jedis 05_linux环境安装redis 06_redis 持久化 07_redis 事务 08_删除策略 09_redis服务器配置 10_高级数据类型 11_主从复制 12_哨兵模式 13_cluster 14_企业...
Redis
m0_73837751的博客
11-14 640
String：简单键值存储，适合计数器、单一属性缓存。Hash：结构化存储，适用于存储对象数据（如用户信息）。List：有序队列，适合消息队列、任务队列。Set：无序集合，用于去重、唯一性统计、共同好友等。Sorted Set：有序集合，适合排行榜和积分排名。问题类型描述主要解决方案缓存穿透请求的数据既不在缓存中也不在数据库中，大量请求穿过缓存访问数据库缓存空结果、布隆过滤器、参数校验缓存击穿高并发请求集中访问缓存中某个热点数据，缓存过期导致直接访问数据库。
Spring Boot中集成Redis与MySQL
m0_73837751的博客
11-14 1437
用途：将键或简单的值序列化为字符串。适用场景：通常用于键的序列化，确保键在 Redis 中以字符串存储，以便于直接查看和管理。用途：将对象序列化为 JSON 格式的字符串，并支持 JSON 反序列化回对象。适用场景：通常用于值的序列化，尤其是需要存储复杂对象的情况。它可以确保数据的可读性，且 JSON 格式数据跨系统兼容性好。缓存穿透指的是请求的数据在缓存和数据库中都不存在，这种请求直接穿过缓存访问数据库。当恶意请求大量涌入时，缓存层无法拦截这些无效请求，导致数据库承受大量压力，从而影响性能。
Redis的Zset在排行榜中应用
最新发布
m0_72410274的博客
11-14 216
Zset在排行榜中的应用
【黑马Redis原理篇】Redis数据结构
乾坤未定，你我皆是黑马
11-10 792
视频来源：原理篇[2,15]
高级java每日一道面试题-2024年11月01日-Redis篇-Redis支持的数据类型有哪些?
qq_43071699的博客
11-11 843
Redis 支持多种数据类型，每种数据类型都有其特定的用途和操作方法。理解这些数据类型及其应用场景对于设计高效的缓存系统和数据存储解决方案非常重要。在高级面试中，能够详细解释这些数据类型及其使用场景，可以展示你对 Redis 的深入理解和实际应用能力。
Redis入门经典：从基础到实践
《Redis入门指南》是由李子骅编著，人民邮电出版社出版的一本针对Redis初学者的专业书籍。这本书详细介绍了Redis的基础知识和实践经验，旨在帮助读者快速掌握Redis的使用。 Redis是一种高性能的键值存储系统，常...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值