2020-11-08

1. 存储技术趋势 

1.1。数据信息于数据存储

数据是对所有事物的数字表示

数据分为三种，1结构化数据，2.半结构化数据，3.非结构化数据

结构化数据表示可以用关系型数据库来表示和存储的数据，一般表现为二维表格的形式

半结构化数据是不符合关系型数据库或其他结构表的表现形式，但会用风格迥异的符号。元素。或者标记来分层或分段。典型的是用来写网站网页的语言，html

非结构化数据的数据结构是不完整的，不规则的，内有一种预定义的数据模型可以对它进行表示，常见的就是各种各样的图像或文字，生活中产生的大都是非结构化数据，比如抖音中的文字或者视频

数据处理周期

数据处理是人或者机器对数据进行是我重组或重新排列，以增加其特定的价值。数据处理包括以下基本步骤：输入，处理，和输出。这三个步骤构成了数据处理周期

信息

1.信息是已经被处理，具有逻辑关系的数据，是对数据的解释

2.信息是对经过处理的数据，其中包括具有上下文，相对性和目的的数据。他还涉及原始数据的操作

数据等于信息加上数据冗余

数据与信息的关系

数据经过加工处理之后，能过成为信息

信息需要经过数字化转变成数据才能存储和传输

 

 

对比项           数据                                      信息

特征           没有特定目的                           有价值的，有逻辑的

本质           手机的原始素材                        加工后的数据

依赖关系    不依赖于信息                            取决于数据

举例           各区域演唱会门票销售量           销售报告于

                  气象数据于卫星影像的资料        天气预报

 

信息的生命周期管理

ILM（information life cycle mangagement,信息生命周期管理），是指从信息产生和初始存储阶段到最后过时被删除时的一套综合管理方法

数据创建：从终端产生并保存到存储设备的过程

数据保护：通过存储设备或从存储软件已经相关方式方法对数据进项妥善的保存和保护

数据访问：通过某种方式访问到存储设备里的数据的过程

数据迁移：将数据从一个地方转移到另外一个地方的过程，有可能是设备的升级或者替换

数据归档：对数据长期的保存并且提供访问和查询的功能，但是数据有可能不在我们频繁使用的it系统中经常出现，就对它进项归档到数据存储系统中，

数据销毁：在数据经过一段时间后就是去了保存的价值，对于这一部分信息，就会进行销毁，就是将数据从It系统中彻底删除的过程，当然，有可能不是从价值出发，也有可能从法律法规出发，进项销毁

  

 

数据存储

数据存储是以不同形式存储到介质上，

狭义的存储可以值DVD,磁带，软盘，磁带

广义的存储：大型设备，存储阵列。存储网络，甚至组成存储网络的卡或线缆，还有存储的软件系统

 

 

 

内外相对于服务器或者主机而言

内置存储：与主机总线相连，包括缓存和内存等等，对于计算机而言，可能还包括与主板相连的主板和光驱等。

外置存储：指独立的存储设备。根据设备与主机的连接方式，分为DAS和FAS，DAS直连式存储，FAS网络化存储。根据所使用的传输协议的不同，FAS分为SAN和NAS，SAN存储区域网络，NAS网络接入存储

存储类型包括块存储和文件存储，对象存储

三种存储类型和三种存储方式

三种存储方式：DAS、SAN、NAS
三种存储类型：块存储、文件存储、对象存储

本质是一样的，底层都是块存储，只是在对外接口上表现不一致，分别应用于不同的业务场景。

快存储

以下列出的两种存储方式都是块存储类型：

• DAS（Direct Attach STorage）：是直接连接于主机服务器的一种储存方式，每一台主机服务器有独立的储存设备，每台主机服务器的储存设备无法互通，需要跨主机存取资料时，必须经过相对复杂的设定，若主机服务器分属不同的操作系统，要存取彼此的资料，更是复杂，有些系统甚至不能存取。通常用在单一网络环境下且数据交换量不大，性能要求不高的环境下，可以说是一种应用较为早的技术实现。
• SAN（Storage Area Network）：是一种用高速（光纤）网络联接专业主机服务器的一种储存方式，此系统会位于主机群的后端，它使用高速I/O 联结方式， 如 SCSI, ESCON 及 Fibre- Channels。一般而言，SAN应用在对网络速度要求高、对数据的可靠性和安全性要求高、对数据共享的性能要求高的应用环境中，特点是代价高，性能好。例如电信、银行的大数据量关键应用。它采用SCSI 块I/O的命令集，通过在磁盘或FC（Fiber Channel）级的数据访问提供高性能的随机I/O和数据吞吐率，它具有高带宽、低延迟的优势，在高性能计算中占有一席之地，但是由于SAN系统的价格较高，且可扩展性较差，已不能满足成千上万个CPU规模的系统。

典型设备：磁盘阵列、硬盘

文件存储

通常，NAS产品都是文件级存储。
NAS（Network Attached Storage）：是一套网络储存设备，通常是直接连在网络上并提供资料存取服务，一套 NAS 储存设备就如同一个提供数据文件服务的系统，特点是性价比高。例如教育、政府、企业等数据存储应用。
它采用NFS或CIFS命令集访问数据，以文件为传输协议，通过TCP/IP实现网络化存储，可扩展性好、价格便宜、用户易管理，如目前在集群计算中应用较多的NFS文件系统，但由于NAS的协议开销高、带宽低、延迟大，不利于在高性能集群中应用。

典型设备：FTP、NFS服务器

对象存储

典型设备：内置大容量硬盘的分布式服务器

数据管理的目的是有效的发挥数据的作用

数据管理技术值得是对数进行分类组织编码输入存储检索维护和输出

依据数据访问频率，数据可分为经常被访问的热数据，偶尔被访问的温数据，很受被访问的冷数据，在线存储保存热数据，进线存储保存温数据，离线存储保存冷数据

 

 

 

 

 

 

 

 

 

 

 

1.2存储技术的发展

架构方面，存储从服务器内部的硬盘发展为独立的设备，又从直连式存储设备发展到存储网络，再到如今热门的分布式存储；介质方面，从近一顿重容量却不足5MB的机械硬盘发展到高速大容量固态硬盘；

接口协议，从已经很少再被提及的ATA协议，发展到高速简洁的NVMe协议。

 

a存储的架构发展

 

传统存储：存储由单块硬盘组成，由大到小，从主机外到主机内

外挂存储：随着存储的要求，存储再次于主机分离。外挂存储即直连存储DAS，

存储网络：是为了解决传输距离和文件共享等问题，出现了存储网络。也就是网络化存储FAS

分布式存储：一种具体的技术说着一种架构，通过采用通用的服务器硬件硬件来构建存储资源池，更适合云计算这种场景

云存储：更像一种服务，比如华为云上可以使用的云硬盘或云备份等，

 b1

 

硬盘在服务器内部：存在局限性，比如服务期大小是固定的，槽位也是固定的，所以容量的扩展是有限的。而且每块盘都是独立存放数据，可靠性比较差，并且CPU和RAM处理IO的速率比较高，但是在那个时代，硬盘处理IO的速度没有那么高，所以硬盘成为服务器性能的瓶颈

早期的外挂存储：JBOD的出现一定程度上解决了槽位有限的问题，而后，read技术帮助解决了可靠性和性能的问题

存储阵列：带有控制器，这一时期，可以为存储配置专用的管理软件，主机看到的是一块大的，高性能的，有冗余特性的硬盘。

这是存储设备的雏形，不管是磁盘还是磁盘阵列，依然都属于DAS的范畴，但DAS存在局限性的，比如在DAS时代，数据是分散在不同设备上的，存储空间的利用率也比较低，

在发展中，出现了一些新的需求，比如，统一企业的员工需要将一些数据存放在共同设备上进行共享访问，又比如越来越高的办公楼死人们希望存储可以与服务器的距离延长，网络的普及给了存储新的生机

存储区域网络（SAN架构）：在服务器与存储阵列之间形成区域网络（SAN），主要提供块存储服务，利用网络有效延长了存储于服务器之间的距离

网络附加存储：(NAS架构)：NAS设备中带有文件系统，可以提供文件存储服务，NAS设备通过局域网（LAN）与服务器相连，可以连接多台服务器，满足了人们对数据共享的需求

统一存储：支持SAN和NAS以及多种协议，将SAN和NAS结合起来，同时提供数据库和文件共享服务，简化了存储管理，提高了存储利用率。统一存储算阶段性发展，随着技术发展，越来越多的技术融合到一台计算机里，统一存储这个概念也就渐渐不被提及

 

 

 

 

传统架构的灵活性和扩展性都有限，但分布式结构使用通用硬件，架构统一，存储和网络也不被绑定

前端业务网络和管理网络还有后端存储网络是分离的，此外，分布式架构中，存储的容量和性能可以完成线性扩展，资源能够弹性伸缩，灵活性较高

存储虚拟化是分布式结构能够实现的重要技术基础，在物理资源和客户端或服务器之间增加一个虚拟层，用来管理和控制所有存储，并对服务器提供存储服务，使用虚拟化技术，是的存储硬件的增减，调换，分拆和合并对服务器完全透明，能够隐藏物理设备的复杂度，集成不同设备现有的功能，也能摆脱独立存储设备物理容量的局限

 

云存储运用虚拟化技术为企业提供可扩展的存储资源，对于用户来说，云存储更像云服务商提供的一种服务，用户在通过接口（传统应用和新兴应用）使用服务的时候，无法感知到底层的设备，也并不关注这些设备的管理里维护，他们仅仅在使用这些服务，总的来说云存储带有融合弹性开放的特点

b存储介质的发展

最早的固态硬盘是从RAM开始的，并不是flash介质，ram是早期内存条所使用的介质，

SLC、 MLC和TLC X3(3-bit-per-cell)架构的TLC芯片技术是MLC和TLC技术的延伸

SLC(Single-Level Cell)，原理是在1个存储器储存单元(cell)或闪存颗粒中存放1位元(bit)的数据

MLC(Multi-Level Cell)技术接棒后，演进为1个存储器储存单元存放2位元

u盘装系统的TLC架构正式问世，代表1个存储器储存单元可存放3位元，成本进一步大幅降低

TLC芯片虽然储存容量变大，成本低廉许多，但因为效能也大打折扣，因此仅能用在u盘启动盘制作工具里低阶的NAND Flash相关产品上，象是低速快闪记忆卡、小型记忆卡microSD或随身碟等。象是内嵌世纪液体应用、智能型手机(Smartphone)、固态硬碟 (SSD)等技术门槛高，对于NAND Flash效能讲求高速且不出错等应用产品，则一定要使用SLC或MLC芯片。

c存储接口协议的发展

QLC，1个存储器储存单元存放4位元，跟TLC相比，QLC的储存密度提高，不能频繁改写，性能比TLC差，可擦写的次数更少，但单位价格购买到的容量较大，很好扩大闪存的应用场景，使得闪存更适合于温数据，

存储级内存(SCM)：非易失性存储，性能比闪存更好，比缓存稍差，读写快，耗能低，寿命很长

总体来说，人们对固态硬盘的期望就是容量更大，速度越快，速度越快，如果两者暂时不能得兼，分开来进行，随着更快介质FCM和更廉价介质QLC的出现，传统机械硬盘市场被挤压，固态硬盘应用场景进一步扩大，这种趋势被称为存储介质的闪存化

1. 接口协议的发展

接口作用在硬盘缓存和主机内存间传输数据，这个主机是相对于位于服务器中的硬盘而言，对于存储设备中的硬盘，硬盘的接口就是用硬盘与控制器之间的连接部件，不同的硬盘接口决定硬盘与控制器之间的连接速度，对于需要通信的设备而言，仅仅连接起来是不够的，要完成数据通信，还需要约定好如何相互识别，如何建立链接，如何传递数据等，这种约定就是接口协议，

 

 

 

图的上半部分，介绍的是连接主机和存储设备的接口所使用的通信协议，图下半部分介绍的是硬盘部分所使用的接口协议，硬件接口的左半部分如SATA,FC,SAS都为机械键盘设计的，虽然这些接口都能应用于固态硬盘，但固态因公盘的存取效率更高，所以需要一款高效预支匹配的协议，基于PCIE接口的NVMe诞生，虽然NVMe是基于PCIE设计的，但广义的存储并不局限于硬盘的本身，还包括主机和存储设备的网络，为了与全闪存设备的速度相匹配，主机与设备之间也期待一种更快的网络，于是NVMe-of诞生，它是将NVMe扩展到网络的成果，

NVMe协议是SSD控制器的接口标准，又在控制器和硬盘之间，它基于PCIE接口，视为固态硬盘专门设计的，目标就是最大限度释放闪存性能，与SAS的物理协议相比，NVMe少了很多层，因袭他可以提升性能，降低延迟，NVME-of主要讲存储设备接入主机网络

 

3.存储产品的发展趋势

 

存储介质闪存化趋势明显，闪存颗粒价格逐年下降，机械硬盘正逐渐退化成类似磁带地位的介质

架构，从集中式到分布式，计算存储网络逐渐分离开来，组成资源池，由软件来进行统一管理优化了资源配置，降低了运维成本，对于使用者而言，也愈发青睐云存储，除了分布式架构带来的可弹性扩展的优势外，云化也意味着减少持有的成本

在运维管理方面，从传统人工运维，发展到了存储管理自动化，甚至与人工智能结合，实现了存储管理的智能化

除了软件带来的智能运维功能以外，智能化还包括一些带有AI算法的硬件，比如智能硬盘框

 

 

 

在智能时代，数据存储的传统架构，越来越难以满足严苛的可靠性，性能和效能的要求，各式各样的要求被暴露，人们需要一种高可靠，高性能，高容量，高效率的新型存储来满足智能时代对数字存储的新要求

 

 

智能时代数据存储要满足三个主要特征，即智能，融合，高效

智能体现在数据全生命周期智能管理，是存储和人工智能的碰撞

融合主要体现在多协议多服务的融合

高效则是指面向业务，要基于硬件算法加架构，突破冯诺依曼的瓶颈，用新技术满足全新业务对数据存储的新需求

 

 

 

 

 

Ibm大机时代，到x86时代，到虚拟化时代，已经见证了存储介质的闪存化，也可以感知网络协议的全IP化，新硬件，新的存储为数据提供了丰富的选择，目前，有多种技术处于研发阶段和预演阶段

蓝光存储：光存储技术经历了CD->DVD->BD，蓝光存储就是BD，可将数据保存50到100年

基于金纳米颗粒的复合玻璃材料，可稳定存储数据长达600年以上，