存储的本质-学习笔记

最新推荐文章于 2024-08-12 23:09:11 发布

SwithunH

最新推荐文章于 2024-08-12 23:09:11 发布

阅读量426

点赞数

文章标签：学习数据库分布式

本文链接：https://blog.csdn.net/Hexa_H/article/details/129318132

版权

1 经典案例

1.1 数据的流动

一条用户注册数据流动到后端服务器，持久化保存到数据库中。

1.2 数据的持久化

校验数据的合法性
修改内存
写入存储介质

2 存储&数据库简介

2.1 存储系统特点

性能敏感、容易受硬件影响、存储系统代码既“简单”又“复杂”。

2.2 数据怎么从应用到存储介质

缓存贯穿了整个存储体系。要尽量减少拷贝。

2.3 RAID技术

2.2 数据库

2.2.1 概览

关系=集合=有序偶对

关系代数=对关系作运算的抽象查询语言

SQL=方便人类阅读的关系代数表达式

2.2.2 关系型数据库特点

结构化数据友好
支持事务（ACID）
支持复杂查询语言

2.2.3 非关系型数据库特点

半结构化数据友好
可能支持事务
可能支持复杂查询语言

3 主流产品剖析

3.1 单机存储

3.1.1 概览

单机存储=单个计算机节点上的存储软件系统，一般不涉及网络交互

3.1.2 本地文件系统

Linux经典哲学:一切皆文件
文件系统的管理单元∶文件
文件系统接口︰文件系统繁多，如Ext2/3/4，sysfs，rootfs等，但都遵循VFS的统一抽象接口
Linux文件系统的两大数据结构:Index Node & Directory Entry
Index Node：记录文件元数据，如id、大小、权限、磁盘位置等inode是一个文件的唯一标识，会被存储到磁盘上inode的总数在格式化文件系统时就固定了
Directory Entry：记录文件名、inode指针，层级关系(parent)等，dentry是内存结构，与inode的关系是N:1(hardlink的实现)

3.1.3 key-value存储

常见使用方式: put(k, v)& get(k)
常见数据结构:LSM-Tree，某种程度上牺牲读性能，追求写入性能
拳头产品︰RocksDB

3.2 分布式存储

3.2.1 概览

分布式存储=在单机存储基础上实现了分布式协议，涉及大量网络交互

3.2.2 HDFS

堪称大数据时代的基石

核心特点：

支持海量数据存储
高容错性
弱POSIX语义
使用普通x86服务器，性价比高

3.2.3 Ceph

开源分布式存储系统里的万金油

核心特点：

一套系统支持对象接口、块接口、文件接口，但是一切皆对象
数据写入采用主备复制模型
数据分布模型采用CRUSH算法

3.3 单机关系型数据库

商业产品Oracle称王,开源产品MySQL & PostgreSQL称霸
关系型数据库的通用组件:
Query Engine ——负责解析query，生成查询计划
Txn Manager ——负责事务并发管理
Lock Manager ——负责锁相关的策略
Storage Engine ——负责组织内存/磁盘数据结构

Replication——负责主备同步

关键内存数据结构:B-Tree、B+-Tree、LRU List等

关键磁盘数据结构:WriteAheadLog (RedoLog) . Page