![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
存储
文章平均质量分 61
诸葛钢铁云
这个作者很懒,什么都没留下…
展开
-
OpenStack多租户实现原理有过了解吗?
多租户隔离级别云计算中的租户概念是底层基础架构资源共享与隔离之间的一种权衡技术实现,对于云计算尤其是公有云而言,底层资源共享程度越高,资源利用率就越高,因此也就更能显现公有云的规模效益。多租户技术出现可以认为是公有云中用以解决资源共享与隔离这对矛盾的有效方案。OpenStack在计算、网络、存储方面的多租户隔离实现计算资源多租户隔离在某些情况下,用户对性能和安全性要求较高,因此可能希望将自己的虚拟机创建在专属的物理宿主机上,从而与其他用户的虚拟机从物理机上隔离,此时就需要实现SharedNot转载 2022-02-24 09:32:05 · 1006 阅读 · 0 评论 -
对象存储(云存储)概述
文章目录三种存储形态1、块存储2、文件存储3、对象存储对象存储对象存储需求对象存储含义对象存储与传统网络存储的区别扩展知识:NAS与SAN概述1、NAS(Network Attached Storage)优点局限2、SAN(Storage Area Network and SAN Protocols)优点局限对象存储的特性1、优秀的扩展性2、基于策略的自动化管理3、多租户技术扩展知识:多租户技术介绍对象存储结构1、对象(Object)2、对象存储设备3、元数据转载 2022-02-24 09:31:26 · 2697 阅读 · 0 评论 -
Ceph分布式存储系列(六):对象存储、块存储、文件存储的区别和优缺点
承接上文Ceph分布式存储系列(一):Ceph工作原理及架构浅析梳理分布式存储总体分为对象、块、文件三种存储类型,且ceph同时支持这三种存储类型,那么这里再简单谈一下三种存储类型的差异点及各自优势和适用环境。回顾存储史 之 三种传统的存储架构:了解三种存储类型之前,先来回顾下传统以来的 三种存储架构:DAS(Direct Attached Storage) 传统的直连式存储,硬盘等物理存储与设备直连的方式,如个人电脑,普通服务器等连接方式:客户端 - - 物理硬盘SAN(Network转载 2022-02-24 09:29:21 · 1375 阅读 · 0 评论 -
Ceph分布式存储系列(一):Ceph工作原理及架构浅析梳理
一、Ceph简介 众所周知,ceph是一种分布式存储系统,是有着“ceph之父”之称的Sage Weil读博期间的研究课题,项目诞生于2004年,在2006年基于开源协议开源了Ceph的源代码,在经过了数年的发展之后,已经成为了开源社区受关注较高的项目之一。 Ceph可以将多台服务器组成一个超大集群,把这些机器中的磁盘资源整合到一块儿,形成一个大的资源池(支持PB级别),然后按需分配给客户端应用使用。ceph官网:https://ceph.com/ceph官方文档:https://doc...转载 2022-02-24 09:28:29 · 1361 阅读 · 0 评论 -
磨刀不误砍柴工,学好这些FusionStorage理论才能使用好这个产品。
前言本文主要介绍了华为分布式存储产品FusionStorage,详细阐述其存储原理,架构,读写机制等等。主要功能特性FusionStorage分布式存储软件总体框架FusionStorage块存储功能-SCSI/iSCSI块接口FusionStorage通过VBS以SCSI或iSCSI方式提供块接口:SCSI方式:安装VBS的物理部署、 FusionSphere或KVM等采用SCSI方式;iSCSI方式:安装VBS以外的虚拟机或主机提供存储访问,VMware、MS SQLServer集转载 2021-07-22 14:49:45 · 389 阅读 · 0 评论 -
华为云计算学习:FusionStorage冗余性-副本
由于分布式存储的好处是提高性能和容量,相反的安全性也变得低了,因为数据最终存储是以key-value形式存在不同服务器硬盘上,其中一块硬盘损坏就导致服务无法使用FusionStorage采用副本的方式保证分布式数据的安全性2副本和3副本(算本身数据最终为2份和3份)副本存储方式为不同硬盘及不同服务器(容灾级别为服务器级别)基于block块设备副本模式FusionStorageOSD模块及处理流程由vbs通过DHT算法确定到OSD具体位置RSM模块接收到IO写请求后,通过查看副本表确转载 2021-07-21 16:30:58 · 406 阅读 · 0 评论 -
华为云计算学习:FusionStorage-DHT算法
FusionStorage-DHT算法DHT(distributed hash table)分布式hash算法,华为指的是数据路由算法VBS提供SCSI\ISICI服务,DHT算法需要解决的问题是VBS接收到数据后怎么进行有效快速的分布式存储到OSD中SCSI协议预备知识,简单理解VBS怎么通过SCSI协议确定到具体的磁盘HOST_ID,通过主板总线接口识别并加载驱动所识别的SCSI控制器CHANNEL_ID,每个channel拥有一条scsi总线TARGENT_ID,具体的设备,比转载 2021-07-21 16:30:09 · 445 阅读 · 0 评论 -
华为云计算学习:FusionStorage基础
FusionStorage分布式架构,实现横向扩展,方便管理块设备,存储设备的最小单位,好处就是便于格式化成VIMS云文件系统,提供高特性基于X86系统上安装软件方式存在,不依赖硬件提供标准的SCSI和ISCSI接口,代表基本所以系统都支持开放的API接口,支持第三方接入FusionStorage的兼容性硬件:服务器HDD、SSD各种卡/盘RAID卡,以太网卡原理都是基于系统的支持,因为FusionStorage是安装在操作系统上的,由系统屏蔽硬件,只要系统的驱动支持,Fusio转载 2021-07-21 16:29:12 · 224 阅读 · 0 评论 -
华为云计算学习:快照技术分析
一切定义都属于个人重新定义过,便于自己的理解快照技术定义:利用算法实现快照前后的写分离,从而实现数据的时间定格,用于数据回退到某个时间的技术,所以快照不是备份技术。常见分类全拷贝镜像(分离镜像)写即拷贝(CoW:copy on write)写即重定向(RoW:redirect on write)数据I/O主要就是读和写全拷贝镜像图1图2图1,源数据被镜像了一个相同数据镜像,并且同时针对写进行2边同步(由镜像子系统维护)图2,当对源数据镜像快照时,镜像自动断开变成只读存储,成转载 2021-07-21 16:27:05 · 332 阅读 · 0 评论 -
华为云计算学习:FusionSphere产品(服务器虚拟化)
FusionSphere和FusionCloudFusionSphere是服务器虚拟化解决方案FusionComputeFusionManagerFusionCloud是数据中心云解决方案ManagerOneFusionComputeFusionSphere的一个组件,提供一下2个重要功能提供资源虚拟化将底层的硬件资源虚拟化虚拟化资源池管理资源虚拟化变成资源池,然对资源进行管理,提供虚拟化的服务1、CNA (Computing Node Agent)计算代理节点,也就是转载 2021-07-21 16:24:00 · 1680 阅读 · 0 评论 -
华为云计算学习:云文件系统
云主机文件系统VIMS (Virtual Image Management System)云主机文件系统LUN设备,SAN存储设备提供,把块设备格式化成VIMS文件系统EXT4 (Fourth EXtended filesystem)Linux文件系统直接本地硬盘就是EXT4,也可以格式化成VIMS文件系统使用NFS (Network File System)基于协议实现远程网络文件共享本身就是网络文件系统,所以不支持格式化成云文件系统方式VIMS文件系统VIMS,类型为ocfs转载 2021-07-21 16:22:33 · 631 阅读 · 0 评论 -
华为云计算学习:存储虚拟化基础
存储虚拟化模型存储资源表示物理存储设备,NAS,IPSAN,SATA硬盘存储设备由系统所识别并管理的设备,我们系统识别块设备、IPSAN的LUN、NAS的共享目录数据存储由华为云统一管理存储设备资源系统,数据存储承载虚拟机业务,如虚拟磁盘,快照没有虚拟机的场景:存储资源:物理硬盘 、存储设备:块设备、数据存储:文件系统不是很清楚块设备和文件系统可以看下我之前写的存储虚拟化存储资源IPSAN通过iscsi链路和主机建立连接,主机连接扫描设备(LUN)FCSAN通过光纤链路和主机转载 2021-07-21 16:20:47 · 429 阅读 · 0 评论 -
分布式存储Ceph RBD-Mirror 灾备方案
1.说明介绍1.1 基本原理image.pngRBD Mirror原理其实和MySQL的主从同步原理非常类似,前者基于journaling,后者基于binlog,简单地说就是利用日志进行回放(replay):通过在存储系统中增加Mirror组件,采用异步复制的方式,实现异地备份。(此处的journal是指Ceph RBD的journal,而不是OSD的journal)该能力利用了 RBD image 的日志特性,以确保集群间的副本崩溃一致性。镜像功能需要在同伴集群( peer clusters转载 2021-07-18 21:13:11 · 773 阅读 · 0 评论 -
ceph分布式存储-常见MON故障处理
1. 常见 MON 故障处理Monitor 维护着 Ceph 集群的信息,如果 Monitor 无法正常提供服务,那整个 Ceph 集群就不可访问。一般来说,在实际运行中,Ceph Monitor的个数是 2n + 1 ( n >= 0) 个,在线上至少3个,只要正常的节点数 >= n+1,Ceph 的 Paxos 算法就能保证系统的正常运行。所以,当 Monitor 出现故障的时候,不要惊慌,冷静下来,一步一步地处理。1.1 开始排障在遭遇 Monitor 故障时,首先回答下列几个问题转载 2021-07-18 21:10:54 · 4438 阅读 · 0 评论 -
Ceph分布式存储的搭建(增加mon节点、模拟osd节点故障恢复)
文章目录一、Ceph分布式存储1.1、Ceph文件系统简述1.2、Ceph的优点二、Ceph架构和名称解释2.1、Ceph架构2.2、Ceph集群组件三、Ceph的存储过程四、Ceph搭建过程4.1、环境准备4.2、搭建集群前的配置4.3、安装ceph集群4.4、Ceph扩容操作4.5、模拟故障osd恢复一、Ceph分布式存储1.1、Ceph文件系统简述圣克鲁兹加利福尼亚大学的Sage Weil在2003年开发CEPH,CEPH是一个开源的项目,其可大规模扩展、高性能并且无单转载 2021-07-18 21:09:22 · 1794 阅读 · 0 评论 -
主流分布式存储技术的对比分析与应用
摘 要:随着数字化转型的深入,海量数据对存储提出了新的要求。传统存储虽然有技术成熟、性能良好、可用性高等优点,但面对海量数据,其缺点也越来越明显:如扩展性差、成本高等。为了克服上述缺点,满足海量数据的存储需求,市场上出现了分布式存储技术。分布式存储系统,通常包括主控服务器、存储服务器,以及多个客户端组成。其本质是将大量的文件,均匀分布到多个存储服务器上。当前,分布式存储有多种实现技术,如HDFS、Ceph、GFS、Switf等。在实际工作中,为了更好地引入分布式存储技术,我们需了解各种分布式存储转载 2021-07-18 20:59:34 · 882 阅读 · 0 评论 -
分布式存储第二章
上篇中我们讲了关于分布式存储的知识结构的前三部分内容,存储类型、文件系统、存储介质等,可点击下面的链接查看:关于分布式存储,这是你应该知道的(图文详解)今天我们继续来讲讲关于Raid和副本、分布式存储的架构以及存在的问题和解决办法,即下面四至七部分的内容:一、存储类型二、文件系统三、存储介质四、Raid和副本五、分布式存储的架构六、分布式存储存在的问题七、解决的方法四、Raid和副本把磁盘们相同偏移量的一块空间横向进行分割,组成一条逻辑上存储空间。数据转载 2021-07-16 16:16:16 · 1594 阅读 · 0 评论 -
分布式存储1
布式存储存在的风险,其实就是因为“共享”、“大数据量”、“高性能”和X86服务器+廉价的磁盘为载体之间的矛盾所产生的,不是有些读者说的“数据架构”的问题。其实任何存储都存在这个问题,只是分布式存储更严重。本文其实是从主机的网络、磁盘的吞吐角度分析存在的风险,所以和用那个厂家的存储无关。还有人说你是危言耸听,如果按照你说的,这么多人用了分布式存储有这样的地雷岂不是要炸飞?软件定义的东西其实有很多BUG,重要的是能发现问题,事先做好弥补或方案。还有人说,分布式存储用到现在也不超过2年,发生你说的问题原创 2021-07-16 16:14:50 · 320 阅读 · 0 评论