云存储（二）

一：物理存储空间管理：

1.卷

卷本身即是硬盘上的存储区域，一个硬盘包括多个卷，一个卷同时也可以跨越好多磁盘。在windows中，可以使用一种文件系统对卷进行格式化并分配驱动器号。

磁盘的使用方式分为两类：基本磁盘和动态磁盘

基本磁盘非常常见，对于windows系统(DOS)来说，其受26个英文字母的年制，也就是说，磁盘的盘符只能是英文字母中的一个。并且一般A和B用来表示软驱，所以一般从C开始，再加一个冒号。并且在基本磁盘之上只能建立4个主分区。Linux中没有盘符的概念。

动态磁盘不收26个英文字母的限制，它是用卷来命名的。其最大有限是可以将磁盘容量扩展到非临近磁盘空间

在装某个软件时，它规定必须安装在磁盘的某个分区上，而恰恰此分区的磁盘空间不够了，怎么办？一定会想到某些改变磁盘分区大小的软件。用第三方软件来解决是一个非常好的方法，而这里的则是另一种方法，那就是“动态磁盘”。
动态磁盘的优点是分区（动态磁盘上称为卷）数量不受限制，自然也没有什么主分区逻辑分区的区别了。另外一个好处就是可以把不相邻的卷视为同一个分区来使用，无需真的去合并分区例如按照顺序有 D、E、F三个卷，将F收缩后在F后面节省出一部分空间，可以简单的划给D或者E来使用，无需真的去移动它。甚至可以将不同硬盘上的卷划做一个卷来使用，也就是跨区卷。

基本卷：驻留在基本磁盘上的主磁盘分区或逻辑驱动器

动态卷：驻留在动态磁盘上的卷

五种动态卷卷类型：

简单卷：
	是物理磁盘的一部分，可以通过将卷扩展到相同或者不同磁盘上的未分配空间上，以增加现有简单卷的大小。
	要扩展简单卷，该卷必须尚未格式化，也可以将简单卷扩展到同一计算机上其他动态磁盘的区域中，如果这个区域包含2个以上的磁盘的区域，则成为跨区卷	
	如果只有一个动态磁盘，那么只能创建简单卷

跨区卷：
	必须建立在动态磁盘上，是一种和简单卷类似结构的动态卷，它是将多个磁盘中未分配的磁盘空间合并到一个逻辑卷中来使用，这样可以更有效的使用磁盘空间不至于浪费。
	增加现有卷容量的操作成为“扩展”。只能使用NTFS文件系统格式化的现有跨区卷可由所有磁盘上未分配空间的总量进行扩展。但是在扩展跨区卷后，不删除整个跨区卷便无法删除它的任何部分
	建立跨区卷------>将每个磁盘中未分配的空间依次扩展到跨区卷上（逐个扩展）

带区卷：
	由两块或者两块以上的硬盘组成，必须创建在动态磁盘上。当文件存到带区卷时，系统会将数据分散存于各块硬盘的空间，若使用专业的硬件设备和磁盘，可以提高文件的访问效率并降低CPU的负荷
	带区卷与跨区卷类似，可以同时对多块磁盘进行读写，并且可以以相同的速率对所有磁盘写入数据
	理论上，带区卷的读写速度是n块磁盘中最慢一个的n倍
	带区卷使用RAID-0,从而可以在多个磁盘上分布数据，但是不提供容错，也就是如果一块磁盘出了问题，则整个带区卷都不能工作。

镜像卷：
	是具有容错能力的动态卷，它通过使用卷的两个副本或镜像复制存储在卷上的数据，从而提供数据冗余性。
	镜像都是位于独立的物理磁盘上，创建镜像卷时，最好使用大小、型号和制造商都相同的磁盘。

RAID-5卷：
	廉价磁盘冗余阵列或者独立磁盘冗余阵列，windows通过给该卷的每个硬盘分区中添加奇偶校验信息带区来实现容错。如果某个硬盘出现故障，windows可以利用其余硬盘上的数据和奇偶校验信息重建发生故障的硬盘上的数据。
	由于要校验奇偶信息，所以写速度要比镜像卷慢一些。但是比其拥有更优秀的读性能。
	

2.RAID技术

全称为独立磁盘冗余阵列，可以将一个个单独的磁盘以不同的组合方式形成一个逻辑硬盘，从而提高了磁盘读取的性能和数据的安全性。不同的组合方式可以用RAID级别来标识。

级别

1.RAID0 - RAID5A六种明确标准级别的RAID级别。
2.RAID6、RAID7、RAID10(RAID1+RAID0),RAID30(RAID3+RAID0)、RAID01(RAID0+RAID1)、RAID50(RAID0+RAID5)等

RAID0:

	条带化，将数据分成一定大小顺序写到阵列的磁盘中.
	可以并行的执行读写操作，充分利用了总线的带宽
	一个由n个磁盘组成的RAID0系统，其读写性能是单个的n倍，并且磁盘的存储效率最大--->100%
	缺点：不提供数据冗余保护，一旦数据损坏，将无法恢复

系统向RAID0发送IO请求后，被转化为4个操作，每个操作都对应于一块物理硬盘。
原先的数据IO请求倍分散到4块硬盘中同时执行，从理论上讲速度提高了4倍，但是由于其他因素的影响，会低于4倍，但是会比串行传输效率高。

RAID1:

RAID1称为镜像，它将数据完全一致地分别写到工作磁盘和镜像磁盘，因此它的磁盘利用率只有一半。
在数据写入时由于要备份镜像，所以会对写速度有影响，但是对于读速度是没有影响的
由于有镜像，所以RAID1提供了最佳的数据保护，如果数据损坏，会直接从镜像磁盘中读取数据

RAID5:

是一种兼顾版本，其阵列中既含有数据，也有数据校验信息。
数据块和对应的校验信息会存储在不同的磁盘上
当一个数据盘损坏时，会根据统一带区的其他数据库以及校验信息来重构损坏的数据
RAID5可以理解为RAID1H和RAID0的折中方案，可以提供数据安全保障，安全程度比RAID1低。但是磁盘利用率高于RAID1（多个数据对应一个校验信息，只有一个磁盘用来存放校验信息）
RAID5具有和RAID0接近的读取速度，但是多了奇偶校验信息，写入数据的速度比RAID0慢

用简单的语言来表示，至少使用3块硬盘（也可以更多）组建RAID5磁盘阵列，当有数据写入硬盘的时候，按照1块硬盘的方式就是直接写入这块硬盘的磁道，如果是RAID5的话这次数据写入会根据算法分成3部分，然后写入这3块硬盘，写入的同时还会在这3块硬盘上写入校验信息，当读取写入的数据的时候会分别从3块硬盘上读取数据内容，再通过检验信息进行校验。当其中有1块硬盘出现损坏的时候,就从另外2块硬盘上存储的数据可以计算出第3块硬盘的数据内容。也就是说raid5这种存储方式只允许有一块硬盘出现故障，出现故障时需要尽快更换。当更换故障硬盘后，在故障期间写入的数据会进行重新校验。 如果在未解决故障又坏1块，那就是灾难性的了。
RAID5把数据和相对应的奇偶校验信息存储到组成RAID5的各个磁盘上，并且奇偶校验信息和相对应的数据分别存储于不同的磁盘上，其中任意N-1块磁盘上都存储完整的数据，也就是说有相当于一块磁盘容量的空间用于存储奇偶校验信息。因此当RAID5的一个磁盘发生损坏后，不会影响数据的完整性，从而保证了数据安全。当损坏的磁盘被替换后，RAID还会自动利用剩下奇偶校验信息去重建此磁盘上的数据，来保持RAID5的高可靠性。

RAID10:

是RAID1和RAID0的组合，先做镜像，在做条带化
磁盘利用率和RAID1一样，50%
如果镜像中有一个磁盘镜像失败，则整个RAID10等同于RAID0

JBOD ：just bundle of disks，简单磁盘捆绑，通常称为span

在逻辑上把几个物理磁盘一个接一个串联到一起，从而提供一个大的逻辑磁盘
存储数据的时候从一个磁盘开始存储，当第一个磁盘的空间用完后，再一次从后面的磁盘开始存储
存取性能完全等同于对单一磁盘的存取操作
不提供数据安全保障

3.逻辑单元号

LUN（Login Unit Number），一般来说，SCSI总线上可挂载的设备数量是有限的，一般是6个或者15个。
每个设备使用SCSI ID来描述，设备只要加入到系统，就会有一个代号，在区分设备的时候，只需要几号几号就可以
但是实际上我们需要描述的对象是远远超过5个或者16个的。所以引进了LUN的概念，其作用就是为了扩充SCSI ID
每个对象设备上都可以多个LUN设备，也就是每个由SCSI ID 变成 SCSI X LUN Y
LUN ID可以代表任何东西，比如阵列柜、磁盘空间等等。

LUN与卷
LUN是对存储设备而言的，而卷是主机而言的

首先选择存储设备--->多个硬盘形成一个RAID组，在RAID组的基础上创建一个或者多个LUN（一般一个RAID组对应一个LUN），所以LUN对于存储设备来说是一个逻辑设备

当网络中的主机连接到存储设备的时候，就可以识别出来存储设备上的逻辑设备LUN，此时LUN相对于主机来说是一个物理磁盘，在该磁盘上创建一个或者多个分区，在创建文件系统，才可以得到一个卷，此时卷对于主机来说是一个逻辑设备

从容量大小比较：
卷 = 分区 <=主机设备管理器中的磁盘 = LUN <=RAID <存储设备中硬盘总容量

4.文件系统：

NFS:网络文件系统 network file system

主要使用在unix环境下，支持在不同类型的系统之间通过网络进行文件共享，允许一个系统在网络与他人共享目录和文件。

NFS可以用于不同类型的计算机、操作系统、网络架构和传输协议运行环境中的网络文件远程访问和共享

工作原理

基于c/s架构，由一个客户端程序和服务端程序组成。
文件以“块”为单位进行传输，其尺寸为8kb（也有可能被分成更小尺寸的分片）
NFS传输协议用户client和server之间文件访问和共享通信

CIFS:公共互联网文件系统 common internet file system

运行于tcp/ip之上，让unix计算机可以在网上邻居上呗windows计算机看到

NFS和CIFS虽然是文件系统，但是它并不能用于在磁盘中存储和管理数据，它定义的是传输文件时的文件组织格式以及传输方式。

共享文件时涉及到两次文件系统转换：
	server首先从本地系统中读取文件，并以NFS/CIFS的格式封装成ip报文发送给client
	client收到ip报文后，将文件拆封并存储于本地磁盘中

5.存储系统

DAS：direct attached storage 直连方式存储

1.DAS模式中，存储系统直接链接到服务器中

2.DAS存储依赖服务器主机的OS进行数据的IO读写和存储维护管理，数据备份和恢复会占用服务器资源

3.服务器与存储设备之间通常采用SCSI链接（还有FC链接），但是随着服务器CPU的处理能力的增强，所需要的存储空间越来越大，RAID阵列中的硬盘数量就会越来越多
  但是SCSI通道会成为IO的瓶颈：服务器主机的SCSI ID是有限的，能够建立的SCSI通道有限

4.无论是服务器主机的扩展（集群扩展）还是存储设备的扩展（阵列容量），都会造成业务系统的停机。

NAS：network attached storage网络接入存储

通常也被称之为附加存储，就是存储设备通过标准的网络拓扑结构添加到一群计算机上
具有自己的文件管理系统，较大的存储容量，具有一定的文件管理和服务功能
采用网络技术（tcp、atm、fddi），通过网络交换机链接存储系统和服务器主机来建立存储私网
支持多种协议--->http ftp NFS CIFS，并支持各种操作系统，只需要浏览器就可以对nas设备进行管理
nas包括存储器件和专用服务器，专用服务器上有专门的os，一般是简化的unix或者linux或者win2000内核

局限：
nas设备通过网络与客户机连接，因此数据备份或者存储过程会占用带宽
可扩展性受到设备大小的限制，增加一台nas服务器容易，但是将两个nas服务器无缝合并不容易，因为其有独特的网络标识符
nas访问文件需要经过文件系统对文件进行格式转换，不适合block级别的应用

SAN：storage area network 存储区域网络

采用网状通道（fire channel 简称fc）技术，通过光纤交换机链接存储阵列和服务器主机，建立专用于数据存储的区域网络
是一种独立于tcp/ip网络之外的专用网络

SAN和NAS的区别：

1.nas使用网络交换机链接存储设备和server，san采用光纤交换机链接存储设备和server

2.san的文件管理系统在server上，nas的文件管理系统存在于存储设备上（本质区别）
		解释：
			传统的nas设备其实就是一个带有das存储的文件服务器，从数据的io路径看，它的数据io发生在nas设备内部
			事实上，很多nas设备内部的文件服务模块u磁盘之间是通过SCSI总线连接的，至于NFS或者CIFS，根本就不在io路径上，属于高层协议通信
			所以，nas与一般的application server在网络拓扑结构中的位置是相同的，为了在磁盘中存储数据，就必须建立自己的文件管理系统
			而san，它提供给application server的是一块未建立文件系统的虚拟磁盘，在上面建立什么样子的文件系统，完全取决于application server。

3.也就是nas提供的是文件层面的服务，而san提供的是块存储服务			

早期的san采用的光纤通道FC，到了ISCSI协议出现以后，为了区分，业界就把san分为fc san和 ip san

FC SAN:

IP SAN:

CAS：content addressed storage 内容寻址存储

存储高可用技术

双热机备份方式

所谓双热机备份，就是一台主服务器（active server），一台备份服务器（standy server）--->主和备份不能互相切换
在系统正常运行情况下，主服务器对外提供服务，备份服务器监视主服务器的运行情况
同时，主服务器也会监视备份服务器的运行情况，如果发生异常，会报警

双机互备份方式

两台server均为工作机，正常情况下两台server均对外提供服务，并互相监视对方的运行情况。
加入一台出现异常，另一台主动接管该工作机的任务，所以负载会随之加大

集群并发存取方式

在一个域内包含多台拥有共享存储空间的服务器，每一台服务器对外都可提供服务
当一台发生故障，其运行的任务会被其他服务器接管，从而实现负载均衡和备份容错