第一章:存储前沿技术和发展趋势
1 、 存储定义:
1) 侠义:指具体的某种设备,比如软盘、CD、DVD、硬盘,以及企业可能还会用到磁带
广义:指数据中心里面使用的存储设备,
存储硬盘系统(磁盘阵列、控制器、磁带柜、磁带库等)
存储软件(备份软件、快照、镜像、管理软件、复制等增值软件)
存储网络(HBA卡)光纤交换机、FC/SAS线缆等)
存储解决方案(集中存储、归档、备份、容灾等)
广义上的存储,是一套复杂的用来存储和管理企业重要信息的系统。
存储技术不是一个单独而孤立的技术,
完整的存储系统应该是由一系列组件构成的。
2) 存储阵列系统:存储硬件、存储软件、解决方案
存储硬件分为两种:外置存储系统 ,存储连接设备
外置存储系统:磁盘阵列,NAS 磁带库 虚拟磁带库
存储连接设备:FC HBA卡 FC 交换机 以太网交换机 连接线缆
块存储指在一个RAID(独立磁盘冗余阵列)集中,一个控制器加入一组磁盘驱动器,然后提供固定大小的RAID块作为LUN(逻辑单元号)的卷。
TCO (Total Cost of Ownership ),即总拥有成本,包括产品采购到后期使用、维护的成本。这是一种公司经常采用的技术评价标准。
2、 发展史
DAS--------NAS-------SAN----分布式存储-------云存储
1) DAS架构
直连存储(DAS):是一种存储设备与服务器直连的架构。DAS为服务器提供块级的存储服务(不是文件系统级)。
DAS分为内部DAS和外部DAS两类。
内部DAS:在服务器机箱内部使用并行或串行总线连接的服务器上。
缺点:短距离高速数据传输,插槽数量有限,占大量空间
外部DAS:服务器与外部的存储设备直连相连。之间通过FC协议或者SCSI协议进行通信。
2)NAS架构
网络附加存储(Network Attached Storage , NAS):是连接到一个局域网的基于IP的文件共享设备。
UNIX---基于NFS window-----基于CIFS
NFS:(Network File System)网络文件系统
CIFS:(Common Internet File System)网络通用文件系统
3) FC SAN架构
存储区域网络(Storage Area Networks,SAN):是一个用在服务器和存储资源之间的、专用的、高性能的网络体系。
FC SAN使用的典型协议组是SCSI和Fiber Channel
FC SAN市场主要用在高端市场
4) IP SAN架构
以TCP/IP作为底层传输协议, 采用以太网作为传输介质
实现IP SAN的典型协议是ISCSI,
企业传输速度:以太网----10G FC--------16G
5)存储架构的趋势:聚合存储
满足业务弹性发展 简化业务部署 提升存储资源利用率 有效降低TCO
6) 云存储:
分布式存储(主流): 将x86服务器的本地HDD、SSD等存储介质组织成大规模的存储 资源池,然后将数据分散存储到多个数据存储服务器上。
分布式存储---------》借鉴Google
软件定义存储: 将x86服务器的本地HDD、SSD等存储介质组织成大规模的存储 资源池,对非虚拟化环境的上层应用和虚拟化提供SCSI和iISCSI接口。
3 技术演变
存储系统架构技术演进
1)低端:外置磁盘(95年以前)----单控SAN(98)---双控SAN(03-05)----软件功能丰富(现在)
特点:简单 经济 易用
2)中端:存储系统固化配置(97)-----双控双活冗余配置(00)-------硬件组件灵活配置(05)-----软件功能灵活配置(现在)
特点:融合、灵活、简约
3)高端:总线式架构(90)-----hi-star架构|以交换机为中心|(00)----直连式架构(03)-----虚拟矩阵式架构(现在)
特点:
server SAN ----企业主流存储形式
传统存储-----满足单一应用或场景而建设的
新型存储------云的关键价值“软件定义”
云存储特点:融合、开放、弹性
第二章 AI 、大数据和云计算的存储应用技术
ICT:信息通信技术
1 ICT技术发展趋势
1)IT四大趋势:物联网-数据收集 大数据--数据分析 移动互联网--数据生产/数据消费 云计算----数据计算
云数据中心市场趋势的巨大转变:内--外 外--内
2)云DC面临3大挑战:接入流量剧增、数据处理剧增、应用服务剧增
名词:
物联网(英语: Internet of Things,缩写loT) 是互联网、传统电信网等信息承载体,让所有能行使独立功能的普通物体实现互联互通的网络。
SDN: Software Defined Network,即软件定义网络。
NFV,Network Function Vrtualization,即网络功能虚拟化。
Cloud RAN (也被称为C-RAN和Centralized-RAN) 是用于未来移动网络基础结构的一种新型蜂窝网络架构。
IT架构云化:
传统业务向云平台迁移:
2 云计算存储应用技术
1)什么是云计算?
云计算(Cloud computing)是基于 互联网的相关服务的增加、使用和交付模式,通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。
云----网络
侠义: 指IT基础设施的支付和使用模式,指通过网络以按需、易扩展的方式获得所需资源。
广义: 指服务的支付和使用模式,指通过网络以按需、易扩展的方式获得所需服务
( 一堆落后的技术组成)
2)云计算的关键特征:按需自动服务(On-demand Self-service)
无处不在的网络接入(Ubiquitous network access)
与位置无关的资源池(Location independent resource pooling)
快速弹性(Rapid Elastic)
按使用付费(Pay per user)
云计算部署模式:私有云,公有云,混合云
3) 商业模式:On-Demand
从商业视角来看,云服务可以划分为以下几种类型:
laas: 基础架构即服务(Infrastructure as a Service) 。laaS提供ICT基础架构资源并确保其正常运行。
Paas: 平台即服务(Platform as a Service) 。Paas为软件开发者提供了开发平台。在传统的开发环境中,开发者在编写应用程序的时候,同时需要关注所采用的操作系统和硬件设备。而使用Paas,开发者可以专注于编写最好的应用程序,基础平台的维护由PaaS供应商负责。
Saas:软件即服务(Software as a Service)。这是云计算最早出现的服务模式。用户只需要使用简易的设备去连接SaaS供应商提供的操作系统和应用程序。所有繁杂的系统维护工作,例如软件和授权的升级,均由SaaS供应商来负责。
4)云计算关键技术
计算机架构:模式”Scale Out , Scale up “
云计算业务模式:
云计算的本质就是服务
SaaS:应用、流程和信息----业务
PaaS:平台------------- 中间件
IaaS:基础架构---------- 虚拟化
云平台(广义)=存储+交换机+计算+分布式软件+网络化应用软件
虚拟化:承上启下,是构建云计算平台的核心支持技术
AI\、 大数据存储应用技术
1)大数据来源:社交数据, 机器数据
2)什么是大数据(Big Data):巨量资料
大数据特征:
多样性(Variety):来源多,格式多
高速度(Velocity):增长速度快,处理速度快
大容量(Volume):存储量大,计算量大
高价值(Value):浪里淘沙却又弥足珍贵,数据的价值密度较低,但是产生的价值总量却十分惊人。
大数据的4V特征:决定了发掘数字金矿的难度,也意味着巨大商机。
3)大数据的本质:物理世界在数字世界的影像,
4)大数据技术架构:
典型的大数据处理系统可分为五层:数据采集,存储,处理,分析,应用及展现等,
大数据的数据类型及模型:
1 非结构化数据:指不方便用数据库二维逻辑表来表现数据
2 半结构化数据:指一般是自描述的,数据的结构和内容混在一起,没有明确区分。
3 结构化数据:指可以存储在数据库里,可以用二维表结构来逻辑表达实现的数据
5)支撑大数据的技术:1 信息采集 2数据存储 3数据管理 4数据分析
6)存储变革:计算----存储-----网络-----------数据库
数据库革命:关系型-非关系型-混合型
文件类型的变革:本地-集群-分布式
大数据离不开云计算技术
AI:Artificial Intelligence ,人工智能
第三章 ICT 架构体系
1)数据=信息+数据冗余
*数据和信息之间是相互联系的。数据是反映客观事物属性的记录,是信息的具体表现形式。数据经过加工处理之后,就成为信息;而信息需要经过数字化转变成数据才能存储和传输。
数据--》信息采集 信息----》从采集的数据中获取的有用的信息。
SNIA :关于数据的定义是:数据是对所有事物的数字表示。
2)数据的管理涉及到:
1:企业使用/生产大量的数据来运营其业务。
2:根据需要,数据应该保持足够长的时间。
3:当数据不再有用,可或者必须被销毁。
3)信息的作用:
1 向企业提供市场的信息以及客户行为的信息。
2 帮助企业高效地运营业务。
3 帮助企业确定风险因素。
4)信息数据的生命周期分为五个阶段:
1 产生 2 传播 3 使用 4 维护 5 归档(存档或删除)
5)IT三部分组成:传感技术,通信技术,计算机技术
CT通信技术: 交流,传递的技术
通信为信息服务
通信技术的任务:快,好,准 ,安全的传递/交换各自类型的信息
CT--------------IT
6)常用基础组件:主机 交换机 网络 存储阵列
第四章 存储系统结构
- 系统架构:
1)中低端SAN/NAS融合存储架构:双控制器
双控制器都存储相同数据,
双控制器分别通过磁盘通道接入磁盘服务器集群
多个LUN或同个LUN的负载均衡在二个控制器中。
一控制器故障时,另一控制器在主机多路径软件下接管业务负载,
2)高端SAN阵列架构:
1、 多控制器
2、 网格存储
数据模块+接口模块
并行的分布式网络
Scale out(横向扩展)的存储架构
没任何主控的模块
系统由一个个的网格组成的
每个网格叫数据模块
每个独立的数据模块包含(CPU、缓存、磁盘存储)
网格存储系统的主要部分被称为modules(模块)
模块提供处理单元、缓存、主机接口和基于标准的英特尔和Linux系统。
模块是系统架构的基本元素,提供物理容量、处理能力和缓存,各数据模块间的关系是平等的、无主次之分。
利用“伪随机”的分布式方式(分离---提高性能)
冗余的交换以太网结构(负责数据之间通信)
3)集群NAS存储架构
特点:统一命名空间,全局共享
高性能,多台阵列并发I/O
在线扩容
4)分布式存储架构:无中心节点
存放文件过程:将文件分割多份(对象)存放到多台存储服务器(对象存储集群)。
特点:支持上百亿文件存储
统一命名空间,全局共享
高性能,多个节点存储并发I/O,提供上几十GB聚合I/O
在线扩容
自动负载均衡
低成本:X86服务器
5)分布式存储架构:有中心节点
有中心节点(管理节点)
缺点:中心节点坏死只能存不能写。
特点:支持EB级文件存储
统一命名空间,全局共享
在线扩容
低成本:x86服务器
6)分布式对象存储架构
云数据:描述数据的数据(例如目录)
特点:支持上百亿文件存储
统一命名空间,全局共享
高性能,多个节点存储并发I/O,提供上几十GB聚合I/O
在线扩容
自动负载均衡
低成本:X86服务器
2、存储组件
1) 常见阵列组成形式
控制器(处理器和缓存)---大脑
存储系统分为盘控分离,盘控一体
功能:简单I/O操作、RAID管理、数据管理功能(快照、镜像、复制等),
2)盘控分离式控制框
BBU:相当于是电池
3)硬盘框:
U:表示高度 1U:表示4.445厘米 ”:表示寸
2.5寸:表示笔记本硬盘 3.5寸:表示台式机硬盘
音速:340M/S
4)硬盘:
类型
桌面级----家庭个人应用(PC mini PC)
企业级------企业级应用和监控级应用(服务器、图形工作站,监控摄像头)
性能:主要体现转速、缓存、平均寻道时间等
可靠性:平均无故障时间(MTBF) 桌面级:50万左右小时(操作时间比较短),企业级:100万以上(从买回来就一直再用)
组件
读/写磁头:负责读和写数据:
磁头臂:带动读/写磁头,将磁头移动到指定位置盘片:保存写入的数据
主轴:转动盘片,将盘片,上的指定位置移动到读/写磁头下
控制电路:控制硬盘的速度,磁头臂的移动,向磁头下发命令等。
数据以二进制代码(0 ,1)
盘片转速以每分钟圈速(rpm),常见的有:7200转、10000转、1500转。
属性:
扇区(512字节)-最小单元 个人电脑--每个磁道有17块扇区
5)SAS盘
特点:高效用、高可靠、可扩展、操作简单
兼容SCSI, 支持串行ATA
6)NL SAS
NL SAS = SAS+SATA盘体的综合体 具有SAS接口 接近SAS性能的SATA盘。
NL(Near Line)
7)固态硬盘:
SSD(Solid State Disk)
固态硬盘结构:
NCQ(Native Command Queuing) ----Serial ATA 11 300MB/S
TCQ(Tagging Command Queuing)----在SCSI2规格中引入(ATA-4)
SSD性能优势:相应速度快 读写效率高 、
硬盘关键指标:
容量、转速、平均访问时间、数据传输率、IOPS(Online Transaction Processing)----读写
吞吐量(Throughput)---传输大数据的关键指标
模块:
1)
FC HBA卡:光纤网卡,
Iscsi HBA卡:传输iSCSI协议,接口类型与以太网相同。
设备线缆:FDR线缆、serial线缆(控制器)、Mini SAS HD线缆、光纤、MPO-4*DLC Fiber 线缆、AOC线缆 绿色、橙色表示多模光纤 黄色表示单模光纤
存储设备:5500-F :设备后面带有F的标志—也是固态设备
衡量机械硬盘性能的参数有哪些?
转速、传输率、平均访问时间
第五章 常用存储协议介绍
1、SCSI/ISCSI
1)SCSI:小型计算机接口(Small Computer System Interface),
版本: 1、2、3.
逻辑单元(LUN):LUN是SCSI目标器中所描述的名字空间资源,
启动器(lnitiator):c/s架构 客户端---请求 如: 主机系统---启动器
目标器(Target):服务器---接收指令并解析处理 如:磁盘阵列---目标器
请求/应答
SCSI协议是主机与存储磁盘通信的基本协议
DAS使用SCSI协议实现主机服务器与存储设备的互联。
2)icsl:
产生:1:scsi允许连接设备数量较少
2:scsi连接设备距离非常有限
ISCSI-互联网小型计算机系统接口-----TCP/IP
依据SAM2(SCSI Architecture ModeL-2)
Iscsi(Internet SCSI=SCSI+块状数据(TCP-ip网络-传输)
Iscsi—作为SCSI的传输层协议
8b/10b编码是将一组连续的8位 数据分解成两组数据,一组3位,一组5位,经过编码后分别成为一组4位的代码和一组6位的代码,从而组成一组10位的数据发送出去。
3)SAS:Serial Attached SCSI) 串行连接SCSI
SATA---串行ATA
1、为什么要发展SAS
1 并行发展到了顶峰,带宽也达到极限
串行缺点: 价格高,组网复杂 速度慢 价格贵 时延高
应用: FC InfiniBand ISCSI)
SAS优点:更低的成本 高可靠性 高性能 与SATA兼容
SAS架构:共6层
SAS 特点: 多数据通过 多端口窄端口绑成款端口 扩展器(接口扩展)采用全双工通信模式。
原则:1 四个通道 1个12Gb/S
2 以连接(链)形式连接
3 最大带宽(4x12Gb/s )
4 最多硬盘整数 (168块)
SAS接口类型:Mini SAS ---6G
高密度Mini SAS----12G
4) FC/FCOE :
1、 Fabric--(光纤通道交换机)---高智能网络
特点:扩展性、可管理型、可靠性、可用性
2、Fiber定义:光纤通道(Fiber Channel),服务器共享存储设备的连接,存储控制器与驱动器之间的内部连接。
Fibre定义:网状通道(Fibre Channel),具备SAN中的TCP/IP 他们遵循OSI模型。
介质:光纤、双绞线、同轴电缆
优点:高带宽、高可靠性、高稳定性、低延迟、抵抗电磁等。
带宽速率:1X 2X 4X 8X
3、FC拓扑结构(主流):光纤通道交换网络
FC交换机端口类型:N:节点端口-(网卡)、 F:交换机端口
E:交换机互联端口、 G:混合端口(通用端口)
FC Zone---------------类似与VLAN
RSCN(Registered State Change Notification):交换机具备的一项功能,负责在架构本身或其内部状态发生改变时,通知注册的节点。
FCoE协议:(Fibre Channel Over Ethernet)
FC帧封装在以太网帧中, (LAN-SAN )流量跑在同个以太网中传送)
以太网二层链路
VoIP=Voice over IP (在以太网上传输音频和视频)。
4)PCI-Express:
定义:是一种高性能、高带宽串行通讯互连标准。
优点:双通道,高带宽,传输速率快,兼容性、易用性、具有错误处理和先进的错误报告功能、每个物理连接还有多个虚拟通道、节省IO,减少板级空间,降低串扰。
带宽: 0.5X2
PCIe协议的特征: 1、点对点连接 2、高可靠 3、树形组网
4、全双工、 5、基于帧结构的传输
5)IPoIB及IP over IB,作为linux内核与IB驱动的适配器,负责构建、销毁IP报文,发送和接收IP报文。
前端:IPoIB协议传输数据。 ---与客户交流
后端:RPC模块利用RDMA完成节点间数据同步
什么是IB?
传输卸载(Transport Offload ):RDMA能够帮助传输卸载,后者把数据包路由从OS转到芯片级,节省了处理器的处理负担。
架构:
IB接口:
channel Adapter (CA)分为两类:
host Channel Adapter (HCA):主机适配器
Target Channel Adapter (TCA):目标通道适配器
6)CIFS/NFS
1、NAS常用的二种网络共享协议
2、CIFS(Common internet File System):CIFS指SMB(Server Message Block)的统称
Window共享文件是通过CIFS
3、NFS(Network file System):网络文件系统, 云计算和数据库大量使用NFS
Linux 共享文件是通过NFS
4、特点:
CIFS工作原理---类似于DHCP
协议协商(协议握手)--建立会话(认证)--树连接(共享连接)-网络文件操作(文件操作)—-断开树连接(断开)
NFS工作原理----类似于UNP传输
RPC(Remote Procedure Call)---远程过程调用(通过网络从远程计算机程序中请求服务)
7)FTP/HTTP
下载(Download)/上传(Upload)
传输模式: 二进制模式 (程序) ASCII码模式(文件)
总结问题: 1、 ATA SATA SCSI SAS对比 ?
2、scsi FC iscsi FCoE 对比 ?
3、FC SAN IP SAN 对比 ?
第六章:存储组网技术
1、DAS:以cpu为中心
2、NAS、SAN:采用专门的协议
优势:SAN最初是以解决网络带宽而考虑的
NAS 侧重于通用性和数据共享而考虑的
3、分类:封闭系统的存储 开放式系统的存储(又分为:内置存储和外挂存储(直连式存储(DAS)和网络存储(FAS))
网络存储 (FAS):网络接入存储(NAS)、 存储区域网络(SAN)
DAS: Direct-Attached Storageo
FAS: Fabric-Attached Storageo
NAS: Network Attached Storagec
SAN: Storage Attached Networkso
4、在主机上安装lnitiator软件--(网卡模拟)--iscsi卡
5 TOE NIC卡处理tcp/ip协议层的功能---节省主机的操作开销
Iscsi HBA卡:完成ISCSI报文到TCP/IP报文转换完全不占主机资源
TOE NIC卡和ISCSI HBA卡功能是一样的
ISCSI 使用ISCSI唯一名称(IQN)来鉴别启动设备和目标设备。
NAS 常见协议:NFS CIFS FTP HTTP
NA设备组成:文件系统、操作系统、网络