云计算的那些事之存储虚拟化

原创 2017年04月29日 23:12:29

数据在整个计算机系统是最重要的一部分,也是最珍贵的。数据的存储一直是一个热议的话题,在没有云计算之前数据存储已经发展了很久,可以说和云计算没有特别关系,我这边将的云计算存储通常指的是亚马逊的S3存储或者EBS存储等,将统一的资源池划分给多个用户。

SAN

那就先从存储说起,现在高端存储应该EMC、IBM和HDS的天下,这些年外置存储跟随着廉价磁盘不断提升容量和性能,推动了SAN网络、主机FC接口不断成熟,在数据中心变得很普遍,尤其在金融领域。
这里写图片描述
SAN提供的是块存储,譬如磁盘阵列里面有10块I T的数据盘,然后可以通过做RAID或者逻辑卷(LVM)的方式划分出10个的数据盘,但这个10个数据盘已经和之前的物理盘不一样了,一个逻辑盘可能有第一个物理盘提供100G,第二个物理盘提供300G。对于操作系统来说,完全无法感知是物理盘还是逻辑盘,这是存储资源池的理念。通过RAID或者LVM不仅可以提供数据保护还能够重新划分盘的大小,提高读写速率。但SAN也不是毫无缺点,它价格也是比较昂贵的,光纤口,光纤交换机价格高,所以才有了IPSAN存储,通过IP协议承载存储协议;无法提供数据共享,一个盘只能挂给一个主机,所以这就有了NAS存储。

NAS

NAS是文件存储,文件存储相比块存储最大的优势是能共享数据,它基于标准的网络协议,SAN是有自己一套存储协议的。常见的NAS包括NFS、FTP和HTTP文件服务器等,由于这种设备通常都有一个IP,所以一般客户机充当数据网关服务器可以直接对其访问。NAS建立在传统网络之上,所以可以更远距离的传输,并且NAS具有安装容易易于维护的特点,但其速度通常要比SAN慢很多。
这里写图片描述

分布式存储

伴随着x86性能提升,以x86芯片构建的小型存储系统,在中端存储领域开始崭露头角。通过将X86本地的磁盘利用起来构建一个大存储集群。这里不得介绍一个和openstack结合紧密的分布式存储ceph,下图是ceph官网的一个整体模块图,它提供了CEPH FS文件存储系统和POSIX接口、对象存储以及最常用的快存储。
这里写图片描述
它的基石是下面的RADOS,下面就是系统组件。
这里写图片描述
CEPH OSDs:CEPH的OSD(Object Storage Device)守护进程。主要功能包括:存储数据、副本数据处理、数据恢复、数据回补,平衡数据分布。并将数据相关的一些监控信息提供给CEPH Moniter,以便CEPH Moniter来检查其他OSD的心跳状态。一个CEPH存储集群,要求至少两个CEPH OSDs,才能有效的保存两份数据。注意,这里的两个CEPH OSD是指运行在两台物理服务器上的,并不是在一台物理服务器上开两个CEPH OSD的守护进程。
Moniters:CEPH的Moniter守护进程,主要功能是维护集群状态的表组,这个表组中包含了多张表,其中有Moniter map、OSD map 、PG(Placement Group) map、CRUSH map。
MDSs:CEPH的MDS (Metadata Server)守护进程,主要保存的是CEPH Filesystem的元数据。注意,对于CEPH的块设备和CEPH对象存储都不需要CEPH MDS守护进程。CEPH MDS 为基于POSIX文件系统的用户提供了一些基础命令的执行,比如ls、find等等,这样可以很大层度上降低CPEH 存储集群的压力。
还有一个开源的对象存储就是openstack的swift,swift的初衷就是用廉价的成本来存储容量特别大的数据,swift使用容器来管理对象,允许用户存储、检索和删除对象以及对象的元数据,而这些操作都是通过用户友好的RESTful风格的接口完成。swift有三层数据模型,Account、Container、Object,Account划分了不同账号命名空间,同一个Account内Container不能重名,当然不同的Account下可以重名。
这里写图片描述
数据分布式通过一致性hash来维护的,这个以后再深入讲解

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/u010278923/article/details/70990666

存储虚拟化技术的实现与比较

存储虚拟化技术的实现与比较
  • mingge591
  • mingge591
  • 2016-03-28 21:26:57
  • 1304

云计算的那些事儿之计算虚拟化

上一篇介绍了虚拟化分别从计算虚拟化、存储虚拟化和网络虚拟化几个角度总体说了一下。下面就主意进行讲解,本篇先介绍计算虚拟化,其实我觉得用计算虚拟化可能比较狭隘,我个人更偏向另个一个更大的概念,软件定义的...
  • u010278923
  • u010278923
  • 2017-04-16 11:23:29
  • 41090

华为计算虚拟化-学习笔记

CPU虚拟化通过时分、空分方式实现多个VM共享CPU资源,对VM的敏感指令进行截获并模拟执行X86,Ring0-Ring3,操作系统内核、操作系统、操作系统、应用程序,优先级从高到低虚拟化方法:特权解...
  • nxl_666
  • nxl_666
  • 2018-03-06 17:47:44
  • 137

云计算,SDN,虚拟化三者关系

云计算是一种按需分配、按使用量收费的使用模式,提供了一个可配置的资源共享池,用户可以通过网络访问,获取存储空间、网络带宽、服务器、应用软件等等服务。   NFV,即网络功能虚拟化,Network Fu...
  • qq_15437629
  • qq_15437629
  • 2016-09-21 15:55:06
  • 10605

服务器、存储和网络虚拟化的实现与应用

虚拟化技术已经成为数据中心必备的技术之一,那什么叫虚拟化技术呢?虚拟化是一个广义的术语,在计算机方面通常是指计算元件在虚拟的基础上而不是真实的基础上运行。虚拟化技术可以扩大硬件的容量,简化软件的重新配...
  • yiluyangguang1234
  • yiluyangguang1234
  • 2015-07-10 11:53:27
  • 1523

存储虚拟化概述

存储虚拟化概述 一、基本概念        存储虚拟化(Storage Virtualization)最通俗的理解就是对存储硬件资源进行抽象化表现。典型的虚拟化包括如下一些情况:屏蔽系统的复杂性...
  • afandaafandaafanda
  • afandaafandaafanda
  • 2015-07-07 20:50:45
  • 1581

云计算与虚拟化概述

资料来源 http://liangweilinux.blog.51cto.com/8340258/1729162云计算是一种按使用量付费的模式,这种模式提供可用的、便捷的、按需的网络访问,进入可配置的...
  • divlee130
  • divlee130
  • 2016-01-02 22:56:01
  • 488

云计算之存储虚拟化 -02

虚拟化存储的优势 1.完整数据迁移 从实际(物理)存储中抽象出主机或者服务器的最主要好处是数据迁移的同时依然保持I/O的并发处理能力,因此主机只知道逻辑磁盘的存在,对映射元数据的任何改动都会被...
  • afandaafandaafanda
  • afandaafandaafanda
  • 2015-01-22 10:21:34
  • 667

服务器虚拟化与存储虚拟化

当虚拟机遇见Hadoop -- 基于hadoop的开源EBS实现思索 (康华)       谈起云计算,一些人会滔滔不绝的谈论虚拟机,而另一些人则口若悬河的宣讲hadoop。相互之间嗤之以鼻,都自认...
  • tycoon1988
  • tycoon1988
  • 2014-07-30 09:36:40
  • 555

实战虚拟化存储设计之四本地存储

作者:范军 (Frank Fan) 新浪微博:@frankfan7   微信:frankfan7 问题描述: 本地存储在近年来的虚拟化架构设计中越来越受到关注,相比SAN来说,本地存储的成...
  • u010170023
  • u010170023
  • 2013-05-27 21:28:28
  • 1554
收藏助手
不良信息举报
您举报文章:云计算的那些事之存储虚拟化
举报原因:
原因补充:

(最多只允许输入30个字)