大数据存储基础知识

最新推荐文章于 2024-06-16 19:39:54 发布

jike28

最新推荐文章于 2024-06-16 19:39:54 发布

阅读量661

点赞数

分类专栏：存储系统

本文链接：https://blog.csdn.net/jike28/article/details/110852954

版权

存储系统专栏收录该内容

1 篇文章 0 订阅

订阅专栏

本文详细介绍了IDE、PATA、SATA接口的区别，涵盖了SCSI、FC（光纤通道）技术，以及SAN（存储区域网络）、DAS（直接附加存储）和NAS（网络附加存储）的原理与对比。还讨论了iSCSI协议在存储中的应用。

摘要由CSDN通过智能技术生成

1. 名词缩写

2. 接口

1. IDE（ATA）

1. PATA（Parallel ATA）

1. 名词缩写

缩写	全称	说明
FC	Fibre Channel	网状通道技术。光纤对接的一种接口标准形式
SCSI	Small Computer System Interface	小型计算机系统接口。是一种用于计算机及其周边设备之间（硬盘、软驱、光驱、打印机、扫描仪等）系统级接口的独立处理器标准
DAS	Direct Attached Storage	直接附加存储。是指将存储设备通过SCSI线缆或光纤通道直接连接到服务器上
IDE	Integrated Drive Electronics	电子集成驱动器.
ATA	Advanced Technology Attachment	高技术配置
PATA	Parallel ATA	并行高技术配置
SATA	Serial ATA	串行高级技术附件
iSCSI	Internet Small Computer System Interface	Internet小型计算机系统接口
NFS	Network File System	网络文件系统

2. 接口

1. IDE（ATA）

集成驱动电子设备（IDE，Integrated Drive Electronics）是应用于电脑主板的数据路径或数据流和电脑磁盘储存设备上的一种标准电子接口。主要意图为将控制器与盘体集成在一起。。现在的电脑使用的是升级版的IDE，即增强型电子集成驱动器接口，IDE的控制器一般在主板里面。

1990年11月，美国国家标准机构采用了IDE接口标准。该机构把集成驱动电子设备命名为ATA（高级技术附加装置）。IDE（ATA）标准是T10委员会认定的几个相关标准中的一个

1. PATA（Parallel ATA）

IDE接口即指并行IDE接口（PATA接口）。IDE接口即指并行IDE接口（PATA接口）。使用PATA接口的硬盘叫并口硬盘。

2. SATA（Serial ATA ）

一种基于行业标准的串行硬件驱动器接口，是由Intel、IBM、Dell、APT、Maxtor和Seagate公司共同提出的硬盘接口规范。使用SATA的硬盘叫串口硬盘

3. PATA与SATA区别

　 1、SATA硬盘比IDE硬盘传输速度高。目前SATA可以提供150MB/s的高峰传输速率。今后将达到300 MB/s和600 MB/s。到时我们将得到比IDE硬盘快近10倍的传输速率。

　　2、相对于IDE硬盘的PATA40针的数据线，SATA的线缆少而细，传输距离远，可延伸至1米，使得安装设备和机内布线更加容易。连接器的体积小，这种线缆有效的改进了计算机内部的空气流动，也改善了机箱内的散热。

　　3、相对于IDE硬盘系统功耗有所减少。SATA硬盘使用500毫伏的电压就可以工作。

　　4、SATA可以通过使用多用途的芯片组或串行——并行转换器来向后兼容PATA设备。由于SATA和PATA可使用同样的驱动器，不需要对操作系统进行升级或其他改变。

　　5、SATA不需要设置主从盘跳线。BIOS会为它按照1、2、3顺序编号。这取决于驱动器接在哪个SATA连接器上（安装方便）。而IDE硬盘需要设置通过跳线来设置主从盘。

　　6、SATA还支持热插拔，可以象U盘一样使用。而IDE硬盘不支持热插拔.

7、数据传输的可靠性得到了增强，硬盘制造起来变得更容易，因为厂商不需要再担心自己的硬盘是否与其它厂商生产的控制器兼容，对用户而言，硬盘安装起来也更为方便

2. SCSI

1. SCSI

SCSI是小型计算机系统接口（Small Computer System Interface）的简称，于1979首次提出，是为小型机研制的一种接口技术，现在已完全普及到了小型机，高低端服务器以及普通PC上。

SCSI可以划分为SCSI-1、SCSI-2、SCSI-3，最新的为SCSI-3，也是目前应用最广泛的SCSI版本。

1、SCSI-1：1979年提出，支持同步和异步SCSI外围设备；支持7台8位的外围设备，最大数据传输速度为5MB/s。

2、SCSI-2：1992年提出，也称为Fast SCSI，数据传输率提高到20MB/s。

3、SCSI-3：1995年提出，Ultra SCSI（Fast-20）。Ultra 2 SCSI（Fast-40）出现于1997年，最高传输速率可达80MB/s。1998年9月，Ultra 3 SCSI（Utra 160 SCSI）正式发布，最高数据传输率为160MB/s。Ultra 320 SCSI的最高数据传输率已经达到了320MB/s。

2. SAS

3. iSCSI

iSCSI（互联网小型计算机系统接口）是一种在TCP/IP上进行数据块传输的标准。它是由Cisco和IBM两家发起的，并且得到了各大存储厂商的大力支持。iSCSI可以实现在IP网络上运行SCSI协议，使其能够在诸如高速千兆以太网上进行快速的数据存取备份操作。

iSCSI标准在2003年2月11日由IETF（互联网工程任务组）认证通过。iSCSI继承了两大最传统技术：SCSI和TCP/IP协议。这为iSCSI的发展奠定了坚实的基础。

基于iSCSI的存储系统只需要不多的投资便可实现SAN存储功能，甚至直接利用现有的TCP/IP网络。相对于以往的网络存储技术，它解决了开放性、容量、传输速度、兼容性、安全性等问题，其优越的性能使其备受关注与青睐。

iSCSI的数据包结构：

工作流程：

iSCSI系统由SCSI适配器发送一个SCSI命令。

命令封装到TCP/IP包中并送入到以太网络。

接收方从TCP/IP包中抽取SCSI命令并执行相关操作。

把返回的SCSI命令和数据封装到TCP/IP包中，将它们发回到发送方。

系统提取出数据或命令，并把它们传回SCSI子系统。

安全性描述：

iSCSI协议本身提供了QoS及安全特性。

可以限制initiator仅向target列表中的目标发登录请求，再由target确认并返回响应，之后

才允许通信；

通过IPSec将数据包加密之后传输，包括数据完整性、确定性及机密性检测等；

　iSCSI的优势

（1）广泛分布的以太网为iSCSI的部署提供了基础。

（2）千兆/万兆以太网的普及为iSCSI提供了更大的运行带宽。

（3）以太网知识的普及为基于iSCSI技术的存储技术提供了大量的管理人才。

（4）由于基于TCP/IP网络，完全解决数据远程复制（Data Replication）及灾难恢复（Disaster Recover）等传输距离上的难题。

（5）得益于以太网设备的价格优势和TCP/IP网络的开放性和便利的管理性，设备扩充和应用调整的成本付出小。

4. TCPIP各层的协议

3. FC

FC光纤通道：用于计算机设备之间数据传输，传输率达到2G（将来会达到4G）。光纤通道用于服务器共享存储设备的连接，存储控制器和驱动器之间的内部连接。

此图需要更换

协议基本架构：

FC-4 Upper Layer Protocol:SCSI,HIPPI,SBCCS,802.2,ATM,VI,IP

FC-3 common service

FC-2 Framing Protocol /Flow Control

FC-1 Encode/Decode

FC-0 Media:Optical or copper,100MB/sec to 1.062GB/sec

协议层说明：

FC-0：物理层，定制了不同介质，传输距离，信号机制标准，也定义了光纤和铜线接口

以及电缆指标

FC-1：定义编码和解码的标准

FC-2：定义了帧、流控制、和服务质量等

FC-3：定义了常用服务，如数据加密和压缩

FC-4：协议映射层，定义了光纤通道和上层应用之间的接口，上层应用比如：串行SCSI 协议，HBA 的驱动提供了FC-4 的接口函数，FC-4 支持多协议，如：FCP-SCSI,FC-IP,FC-VI

协议简介：

FCP-SCSI：

FCP-SCSI:是将SCSI并行接口转化为串行接口方式的协议，应用于存储系统和服务器之间的数据传输。新的ANSI T10 标准，支持SAN 上存储系统之间通过数据迁移应用来直接移动数据。 FCP-SCSI 提供200MB/s（全双工独占带宽）的传输速率，每连接最远达10 公里，最大16000000 个节点。FCP-SCSI 使用帧传输取代块传输。帧传输以大数据流传输方式传输短的小的事务数据。

3. 存储

1. SAN

此部分内容转载于：https://cloud.tencent.com/developer/news/273345

存储区域网络（Storage Area Network，简称SAN）,它是一种在服务器和外部存储资源或独立的存储资源之间实现高速可靠访问的专用的高速网络。是一种基于块存储的存储方式。SAN 采用可扩展的网络拓扑结构连接服务器和存储设备，每个存储设备不隶属于任何一台服务器，所有的存储设备都可以在全部的网络服务器之间作为对等资源共享。目前常见的SAN有FC SAN和IP SAN两种类型，其中FC SAN为通过光纤通道转发SCSI协议，IP SAN通过TCP/IP通道转发SCSI协议。

2、FC SAN

通过FC（光纤）交换机连接存储阵列和服务器主机，建立专用于数据存储的区域网络。架构可参考下图：

3、IP SAN

早期的SAN采用的基本是光纤通道(Fiber Channel)技术，所以早期的SAN多指采用光纤通道的存储局域网络，到了iSCSI协议出现以后，为了区分，业界就把SAN划分为FC SAN和IP SAN。基于iSCSI的存储系统只需要不多的投资便可实现SAN存储功能，甚至直接利用现有的TCP/IP网络。架构可参考下图：

4、优劣分析

优：SAN使存储空间得到更加充分的利用以及安装和管理更加有效，SAN本身就是一个存储网络，承担了数据存储任务，SAN网络与LAN业务网络相隔离，存储数据流不会占用业务网络带宽，另外SAN存储架构实现的是直接对物理硬件的块级存储访问，提高了存储的性能和升级能力。这也是出现这种技术的主要原因。

劣：方案整体预算相对DAS和NAS架构要高一些，尤其是FC SAN。

2. DAS

DAS（Direct Attached Storage—直接附加存储）是指将存储设备通过SCSI线缆或光纤通道直接连接到服务器上。

一个SCSI环路或称为SCSI通道可以挂载最多16台设备；

FC可以在仲裁环的方式下支持126个设备；

3. NAS

NAS（Network Attached Storage—网络附加存储），是一种文件共享服务。拥有自己的文件系统，通过NFS或CIFS对外提供文件访问服务。

NAS包括存储器件（例如硬盘驱动器阵列、CD或DVD驱动器、磁带驱动器或可移动的存储介质）和专用服务器。专用服务器上装有专门的操作系统，通常是简化的unix/linux操作系统，或者是一个特殊的win2000内核。它为文件系统管理和访问做了专门的优化。专用服务器利用NFS或CIFS，充当远程文件服务器，对外提供文件级的访问。

NAS的优点：