Redis学习笔记

NoSQL入门概述

MySQL数据库应用历史

单机MySQL的美好年代

在90年代，一个网站的访问量一般都不大，用单个数据库完全可以轻松应付。那个时候更多的是静态页面，动态交互型的网站不多。

DAL：是数据库访问的英文缩写，即为数据库访问层（Data Access Layer）

上述架构下，我们来看看数据库存储的瓶颈是什么？

• 数据量的总大小一个机器放不下时
• 数据的索引(B+ Tree)一个机器的内存放不下时
• 访问量(读写混合)一个实例不能承受

Memcached(缓存) + MySQL + 垂直拆分

后来，随着访问量的上升，几乎大部分使用MySQL架构的网站在数据库上都出现了性能问题，web程序不再仅仅专注在功能上，同时也在追求性能。程序员们开始大量的使用缓存技术来缓解数据库的压力，优化数据库的结构和索引。开始比较流行的是通过文件缓存来缓解数据库压力，但是当访问量继续增大的时候，多台web机器通过文件缓存不能共享，大量的小文件缓存也带来了比较高的IO压力。在这个时候，Memcached就自然的成为一个非常时尚的技术产品。

MySQL主从读写分离

由于数据库的写入压力增加，Memcached只能缓解数据库的读取压力。读写集中在一个数据库上让数据库不堪重负，大部分网站开始使用主从复制技术来达到读写分离，以提高读写性能和读库的可拓展性。MySQL的master-slave模式成为这个时候的网站标配了。

分表分库 + 水平拆分 + MySQL集群

在Memcached的高速缓存，MySQL的主从复制，读写分离的基础之上，这时MySQL主库的写压力开始出现瓶颈，而数据量的持续猛增，由于MyISAM使用表锁，在高并发下会出现严重的锁问题，大量的高并发MySQL应用开始使用InnoDB引擎替代MyISAM。

同时，开始流行使用分表分库来缓解写压力和数据库增长的拓展问题。这个时候，分库分表成了一个热门技术，是面试的热门问题也是业界讨论的热门的技术问题。也就是在这个时候，MySQL推出了还不太稳定的表分区，这也给技术实力一般的公司带来了希望。虽然MySQL推出了MySQL Cluster集群，但性能也不能很好的满足互联网的要求，只是在高可靠性上提供了非常大的保证。

MySQL的拓展性瓶颈

MySQL数据库也经常存储一些大文本字段，导致数据库表非常大，在做数据库恢复的时候就导致非常的慢，不容易快速恢复数据库。比如1000万4KB大小的文件就接近40GB的大小，如果能把这些数据从MySQL中省去，MySQL将变得非常的小。关系数据库很强大，但是它并不能很好的应付所有的应用场景。MySQL的拓展性差（需要复杂的技术来实现），大数据下IO压力大，表结构更改困难，正视当前使用MySQL的开发人员面临的问题。

今天是什么样子？

NoSQL基础概念

为什么使用NoSQL

今天我们可以通过第三方平台（如Google、Facebook）可以很容易的访问和抓取数据。用户的个人信息、社交网络、地理位置，用户生成的数据和用户操作日志已经成倍的增加。我们如果要对这些用户数据进行挖掘，那MySQL数据库已经不适合这些应用了，NoSQL数据库的发展能很好的处理这些大的数据。

NoSQL是什么

NoSQL(Not Only SQL)，意思是不仅仅是SQL，泛指非关系型数据库。

NoSQL能干嘛

易拓展

​ NoSQL数据库种类繁多，但是一个共同的特点都是去掉关系数据库的关系型特性。数据之间无关系，这样就非常容易拓展。也无形之间，在架构的层面上带来了可拓展的能力。

大数据量高性能

​ NoSQL数据库都具有非常高的读写性能，尤其在大数据量下，同样表现优秀。这得益于它的无关系性，数据库的结构简单。

​ 一般MySQL使用Query Cache，每次表的更新Cache就失效，是一种大粒度的Cache，在针对web2.0的交互频繁的应用，Cache性能不高。

​ 而NoSQL的Cache是记录级的，是一种细粒度的Cache，所以NoSQL在这个层面上来说就要性能高很多了。

多样灵活的数据类型

​ NoSQL无需事先为要存储的数据建立字段，随时可以存储自定义的数据格式。

​ 而在关系数据库里，增删字段是一件非常麻烦的事情，如果是非常大数据量的表，增加字段简直就是一个噩梦。

传统RDBMS VS NOSQL

RDBMS

• 高度组织化结构化数据
• 结构化查询寓言（SQL）
• 数据和关系都存储在单独的表中
• 数据操纵寓言，数据定义寓言
• 严格的一致性
• 基础事务

---

NoSQL

• 代表着不仅仅是SQL
• 没有生命性查询寓言
• 没有预定义的模式
• 键-值对存储，列存储，文档存储，图形数据库
• 最终一致性，而非ACID属性
• 非结构化和不可预知的数据
• CAP定理
• 高性能、高可用性和可拓展性

有哪些NoSQL

• Redis
• Memcached
• MongDB

怎么用

• Key - Value
• Cache
• Persistence

3V + 3高

大数据时代的3V

1. 海量Volume
2. 多样Variety
3. 实时Velocity

互联网需求的3高

1. 高并发
2. 高可拓展
3. 高性能

当下NoSQL应用场景简介

Alibaba中文站商品信息如何存放

架构发展历程

1. 演变过程（到第四代为止）

   

2. 第四代网站主要解决了哪些问题

   

3. 第五代架构使命

   

4. 和我们相关的，多数据源类型的存储问题，针对不同的数据使用不同的数据库

   

商品信息的存储方案，以阿里巴巴中文网站首页为例

1. 商品基本信息

   名称、价格、出厂日期，生产厂商等。

   关系型数据库，mysql/oracle目前淘宝在去Oracle化，套餐使用的MySQL是自己改造过的，不是我们平常用的MySQL。

   为什么去IOE（在IT建设过程中，去除IBM小型机、Oracle数据库一级EMC存储设备）简而意之，可以不受这些东西约束。

2. 商品描述、详情、评价信息（多文字类）

   文档数据库MongDB

3. 商品的图片

   分布式的文件系统中（淘宝自家的TFS、Google的GFS、Hadoop的HDFS）

4. 商品的关键字

   淘宝自己的ISearch

5. 商品的波段性的热点高频信息（如情人节的巧克力）

   内存数据库（Redis、Tair、Memcache）

6. 商品的交易、价格计算、积分累计

   支付宝和外部第三方支付接口

大型互联网应用（大数据、高并发、多样数据类型）的难点和解决方案

难点

• 数据类型多样性
• 数据源多样性和变化重构
• 数据源改造而数据服务平台不需要大面积重构

解决办法

• EAI

• USDL统一数据平台服务层

  • 是什么

    

  • 什么样

    

  • 映射

    

  • API

    

  • 热点缓存

    

NoSQL数据库的四大分类

KV

• 新浪：BerkeleyDB + Redis
• 美团：Redis + tair
• 阿里、百度：memcache + Redis

文档型数据库（bson格式比较多）

• CouchDB

• MongDB

  MongDB是一个机遇分布式文件存储的数据库。由C++寓言编写，旨在为WEB应用提供可拓展的高性能数据存储解决方案。

  MongDB是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富的，最像关系数据库的。

列储存数据库

• HBase
• Cassandra
• 分布式文件系统

图关系数据库

它不是放图形的、放的是关系，比如：朋友圈社交网络、广告推荐系统。

社交网络、推荐系统。专注于构建关系图谱。

Neo4j、InfoGrid

四者对比

分布式数据库CAP原理

传统的ACID分别是什么

A（Atomicity）原子性：事务里的所有操作要么全部做完，要么都不做，事务成功的条件是事务里的所有操作成功，只要有一个操作失败，整个事务就失败，需要回滚。

C（Consistency）一致性：数据库要一直处于一致的状态，事务的运行不会改变数据库原本的一致性约束。

I（Isolation）独立性：所谓的独立性是指并发的事务之间不会互相影响，如果一个事务要访问的数据正在被另一个事务修改，只要另外一个事务未提交，它所访问的数据就不受未提交事务的影响。

D（Durability）持久性：持久性是指一旦事务提交后，它所做的修改将会永久的保存在数据库上，即使出现宕机也不会丢失。

CAP

• C：Consistency（强一致性）
• A：Availability（可用性）
• P：Partition tolerance（分区容错性）

CAP理论就是说在分布式存储系统中，最多只能事项上面的两点。

而由于当前的网络硬件肯定会出现延迟丢包等问题，所以分区容忍性是我们必须要实现的。所以我们只能在一致性和可用性之间进行权衡，没有NoSQL系统能同时保证这三点。

• CA 传统Oracle数据库
• AP 大多数网站架构的选择
• CP Redis、MongoDB

一致性和可用性之间抉择

• 大多数web应用，其实并不需要强一致性。因此牺牲 C换取P，这是目前分布式数据库产品的方向
• 数据库事务一致性需求：很多web实时系统并不要求严格的数据库事务，对读一致性的要求很低，有些场合对写一致性要求不高，允许实现最终一致性。

经典CAP图

CAP理论的核心是：一个分布式系统不能同时很好的满足一致性，可用性和分区容错性这三个需求，最多只能同时较好的满足两个。

因此，根据CAP原理将NoSQL数据库分成了满足CA原则、CP原则和AP原则三大类：

• CA - 单点集群，满足一致性，可用性的系统，通常在可拓展性商不太强大。
• CP - 满足一致性，分区容忍必的系统，通常性能不是特别高
• AP - 满足可用性，分区容忍性的系统，通常对一致性要求低一些202

BASE

BASE就是为了解决关系数据库强一致性引起的问题而引起的可用性降低而提出的解决方案。

BASE其实是下面三个术语的缩写：

• 基本可用 Basically Avaliable
• 软状态 Soft state
• 最终一致 Eventually consistent

它的思想是通过让系统放松对某一时刻的要求来换取系统整体伸缩性和性能上改观。大型系统旺旺由于地域分布和极高性能的要求，不可能采用分布式事务来完成这些指标，要想获得这些指标，我们必须采用另外一种方式来完成，这里BASE就是解决这个问题的办法。

分布式 + 集群简介

• 分布式：不同的多台服务器上面部署不同的服务模块，他们之间通过RPC/RMI之间通信和调用，对外提供服务和组内协作。
• 集群：不同的多台服务器上面部署相同的服务模块，哦通过分布式调度软件进行统一的调度，对外提供服务和访问。

Redis基本概念

定义

REmote Dlctionary Server（远程字段服务器）是完全开源免费的，用C语言编写的，遵循BSD协议，是一个高性能的（key/value）分布式内存数据库，寄予内存运行，并支持持久化的NoSQL数据库，是当前最热门的NoSQL数据库之一，也被人们称为数据结构服务器。

Redis与其它key-value缓存产品比有以下三个特点

• Redis支持数据的持久化，可以将内存中的数据保存在磁盘中，重启的时候可以再次加载进行
• 不仅仅支持简单的key-value类型的数据，同时还提供list，set，zset，hash等数据结构的存储
• 支持数据的备份，即master-slave模式的数据备份

能干嘛

• 内存存储和持久化：redis支持异步将内存中的数据写到硬盘上，同时不影响继续服务
• 取最新N个数据的操作，如：可以将最新的10条评论的ID放在Redis的List集合里面
• 模拟类似于HttpSession这种需要设定过期时间的功能
• 发布、订阅消息系统
• 定时器、计数器

怎么玩

• 数据类型、基本操作和配置
• 持久化和赋值，RDB/AOF
• 事务的控制
• 赋值（主从关系）

Redis 使用

redis基础知识

redis文件介绍

redis-server redis服务器
redis-cli redis命令行客户端
redis-benchmark redis性能测试工具
redis-check-aof aof文件修复工具
redis-check-dump rdb文件检查工具

redis在mac的目录地址

/usr/local/Cellar/redis/6.2.1/bin

redis.conf redis配置文件所在地

/usr/local/etc

启动redis

./redis-server

停止redis

redis-cli shutdown

进入redis

redis-cli

启动后杂项启动知识

• 单进程

  单进程模型来处理客户端的请求。对读写事件的响应，是通过对epoll函数的包装来做到的。Redis的实际处理速度完全依赖主进程的执行效率。

  Epoll是Linux内核为处理大批量文件描述符而做了改进的epoll，是Linux下多路复用IO接口select/poll的增强版本，它能显著提高程序在大量并发连接中只有少量活跃的情况下的系统CPU利用率。

• 默认16个数据库，类似数组下标从零开始，初始默认使用零号库，可在配置文件配置

• select 命令切换数据库

• dbsize 查看当前数据库的key的数量

• flushdb 清空当前库

• flushall 清空所有库

• 统一密码管理，16个库都是同样密码，要么都OK要么一个也连接不上

• Redis索引都是从零开始

• 默认端口号是6379，可在redis.conf中修改

• 哪里去获得redis常见数据类型操作命令

  Redis命令参考

  Redis官网命令参考

Redis常用命令

key关键字

• Key * ：查看当前库所有的key

• exists key的名字，判断某个key是否存在

  eg : exists hello

  存在返回：(integer) 1

  不存在返回：(integer) 0

• move key db 将当前数据库的key移动到给定的数据库db当中

  move key的名字 db数据库序号 eg：move hello 15

• expire key的名字 秒钟：为给定的key设置过期时间

• ttl key 查看key还有多少秒过期，-1表示永不过期，-2表示已过期

• type key 查看你的key是什么类型

• del key 在key存在时删除key

String

• set key value 设置指定key的值

• get key 获取指定key的值

• getset key value 将给定key的值设为value，并返回key的就值(old value)，不存在则返回nil

• mget key1 [key2…] 获取所有（一个或多个）给定key的值

• setnx key value 只有key不存在时设置key的值

• stelen key value 返回key所存储的字符串值