存储
文章平均质量分 92
沐阳zz
这个作者很懒,什么都没留下…
展开
-
分布式存储简介
一、概述分布式文件系统是分布式领域的一个基础应用,其中最著名的毫无疑问是 HDFS/GFS 。如今该领域已经趋向于成熟,但了解它的设计要点和思想,对我们将来面临类似场景/问题时,具有借鉴意义。并且,分布式文件系统并非只有 HDFS/GFS 这一种形态,在它之外,还有其他形态各异、各有千秋的产品形态,对它们的了解,也对扩展我们的视野有所俾益。分布式存储 GlusterFS 介绍与部署本文试图分析和思考,在分布式文件系统领域,我们要解决哪些问题、有些什么样的方案、以及各自的选择依据。二、过去的样转载 2021-01-28 13:37:23 · 11068 阅读 · 0 评论 -
ceph故障临界值测试
#! /bin/bash############################################################## To process the input args with "getopt"## Now we allow input the option# -m --size n --timeout :mem operate size nG to used# -c --core n --timeout :cpu operat.转载 2020-07-31 14:37:34 · 292 阅读 · 0 评论 -
openstack基本组件基础知识
Openstack:一.云计算+openstack概念:1.云计算是一种按使用量付费的模式,这种模式提供可用的,便捷的,按需的访问,通过互联网进入可配置的计算资源共享池(资源包括网络,计算,存储,应用软件,服务);2.OpenStack:是一个开源的云计算管理平台项目,由几个主要的组件组合起来完成具体工作,项目目标是提供实施简单、可大规模扩展、丰富、标准统一的云计算管理平台。二.Openstack组件共享服务组件(6个):数据库服务(database service):Mariadb转载 2020-07-12 10:57:48 · 1556 阅读 · 0 评论 -
ceph基础知识
Ceph基础知识和基础架构认识1 Ceph基础介绍Ceph是一个可靠地、自动重均衡、自动恢复的分布式存储系统,根据场景划分可以将Ceph分为三大块,分别是对象存储、块设备存储和文件系统服务。在虚拟化领域里,比较常用到的是Ceph的块设备存储,比如在OpenStack项目里,Ceph的块设备存储可以对接OpenStack的cinder后端存储、Glance的镜像存储和虚拟机的数据存储,比较直观的是Ceph集群可以提供一个raw格式的块存储来作为虚拟机实例的硬盘。Ceph相比其它存储的优势点在于它.转载 2020-07-08 10:53:52 · 279 阅读 · 0 评论 -
linux下关于删除大量文件的比对
因为在做存储相关的工作,有时候使用vdbench需要写入大量的数据,测试完毕或者测试目的就是删除大量的数据,虽然是测试存储的性能和稳定性。但是不同的删除办法也是不一样的,下面写一些,所接触到的办法条件:Linux上删除大量文件几种方式对比linux上删除大量小文件删除测试:删除500000个小文件测试生成文件:$ for i in $(seq 500000);do echo '...原创 2019-11-06 15:40:20 · 493 阅读 · 0 评论 -
iSCSI 网络磁盘共享
17.1 iSCSI技术介绍iSCSI技术实现了物理硬盘设备与TCP/TP网络传输协议的相互结合,使得用户可以通过互联网方便的获取到远程机房提供的共享存储资源硬盘是计算机硬件设备中重要的组成部分之一,存储设备的IO读写速度快慢也直接影响着服务器整体性能的高低,学习了硬盘存储结构、RAID磁盘阵列技术及LVM逻辑卷管理技术等等存储设备技术,这些技术无论是软件还是硬件层面的,大多都转载 2017-08-15 13:28:54 · 41053 阅读 · 3 评论 -
2.1 linux 存储结构和硬盘划分
2.1 一切从“/”开始Linux系统中的目录、字符设备、块设备、套接字、打印机等等都被抽象成了文件,即刘遄老师所一直强调的——Linux系统中一切都是文件。既然平时跟咱们打交道的都是文件,那么又应该如何的找到它们呢?在Windows操作系统中想要找到一个文件,肯定就要依次进入“D盘”后再进入某某目录中找到所需要的文件,但在Linux系统中可并不存在C/D/E/F盘符呦,一切的文件都是从“转载 2017-08-15 13:09:05 · 1658 阅读 · 1 评论 -
2.1 存储空间管理 raid + lvm
RAID磁盘冗余阵列现在计算机硬件中CPU处理器平均每年可提升30%-50%的计算性能,不仅如此,还在能耗方面有着不错的持续改善,但硬盘设备的性能提升仅仅为每年7%-10%,显然已经逐步成为了当代计算机整体性能的瓶颈问题,并且因为持续、频繁、大量的IO读写操作使得硬盘相比其他设备还存在很大损坏几率,导致重要的数据丢失。因此在1988年,由加利福尼亚大学伯克利分校发表的文章首次提到并定义了R转载 2017-08-15 13:02:44 · 790 阅读 · 1 评论 -
2.2 存储分类 块存储,文件存储和对象存储
首先,我们介绍这两种传统的存储类型。通常来讲,所有磁盘阵列都是基于Block块的模式(DAS),而所有的NAS产品都是文件级存储1、块存储 以下列出的两种存储方式都是块存储类型: 1) DAS(Direct Attach STorage):是直接连接于主机服务器的一种储存方式,每一台主机服务器有独立的储存设备,每台主机服务器的转载 2017-02-15 14:18:29 · 1224 阅读 · 0 评论 -
openstack 环境部署
22.1 了解云计算人类基于千年的物种衍变基础,在这个世纪终于有了爆发式的科技成果,尤其这二十年内互联网的发展,更像是一种催化剂,让原本已经热闹的地球更加的沸腾,互联网经济泡沫破灭后的科技研发却变得更加卖力,一次次的突破着传统研究中对人类脑力、科技最终式的定义,把“来自未来”的产品带到用户面前,那么到底互联网未来会变成什么样子,人类最终的归宿会是怎么样,我们不得而知,但可以肯定的是科技研发转载 2017-08-15 13:37:46 · 1617 阅读 · 0 评论 -
存储测试1
分布式存储产品的测试实践在分布式存储产品的测试过程中,测试到底做了些什么事情呢?一:测试工作内容需求,设计评审测试需要参与到每一个过程中在设计评审的时候就需要知道验收的标准,这是最重要的开始。因为这个时候如果没有理解用户的需求,验收标准就会跑偏。用户的需求是测试的基准点。测试范围需要确定测试范围。上线的时间都是固定的,在有限的时间内可能无法覆盖所有的测试,得指定测试范围。这一方面取决于测试对整个系...转载 2018-03-23 08:58:53 · 9736 阅读 · 0 评论 -
测试能力
作者:大晨子链接:https://www.zhihu.com/question/21103928/answer/292795218来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。一、业务分析能力1.分析整体业务流程不了解整个公司的业务,根本就没办法进行测试2.分析被测业务数据了解整个业务里面所需的数据有哪些?哪些是需要用户提供的?哪些是自己提供的?有哪些可以是假数据?...转载 2018-03-23 09:04:24 · 907 阅读 · 0 评论 -
CTDB介绍
1. CTDB概述CTDB是一个集群TDB数据库,可以被Samba或者其他的应用使用来存储数据。如果一个应用是使用TDB来暂时存放数据,那么这个应用可以很轻松的使用CTDB扩展为集群模式。CTDB提供与TDB相同的函数接口,并且是构建在多台物理机器上的集群。特性:- CTDB提供一个横跨多个节点的并且数据一致、锁一致的TDB数据库;- CTDB非常快速;- 对于节点故障,CTDB将自动恢复和...转载 2018-06-06 19:19:54 · 7228 阅读 · 0 评论 -
解析 Ceph : OSD , OSDMap 和 PG, PGMap
解析 Ceph : OSD , OSDMap 和 PG, PGMap图ACeph致力于提供PB级的集群存储能力,并且提供自动故障恢复,方便的扩容和缩容能力,这些能力在典型的分布式存储系统就需要 Metadata Server 来提供,因为完全分布式系统对于数据迁移和扩容有着非常强的痛点,但是 Metadata Server 另一方面又需要避免单点故障和数据瓶颈的问题。,在这里,Ceph 要提供更自...转载 2018-06-07 14:25:54 · 7072 阅读 · 0 评论 -
Teuthology自动化测试
1.1 应用需求由于官方对于teuthology和ceph-qa-suite没有任何的文档介绍。在这篇文档中将介绍ceph-qa-suite中case的测试内容以及如何简单修改增加case。1.2 相关模块整个自动化环境需要依赖如下三份python代码,关注最多的就是ceph-qa-suite和ceph/qa。Teuthology:用来调度case ,选择机器,安装ceph等基...转载 2018-08-22 14:20:35 · 937 阅读 · 1 评论 -
2.4存储基础知识:高可用技术
存储基础知识:高可用技术一、概述随着计算机和网络的飞速发展,计算机在各个行业的应用越来越广泛和深入。在绝大多数行业、绝大多数企业都存在一些关键的应用,这些应用必须7*24*365小时不间断运行。这些应用的主机系统一旦出现问题,轻则降低业务响应速度,严重的会导致业务中断,造成严重的后果。如何能保证业务的持续进行,已经成为影响一个公司成败的关键因素。在这样的情况下,系统的高可用性就显得尤为翻译 2017-08-15 12:46:33 · 668 阅读 · 0 评论 -
HBA 卡和RAID 卡
HBA卡: 只从HBA的英文解释HOST BUS ADAPTER(主机总线适配器)就能看出来,他肯定是给主机用的,一般HBA就是给主机插上后,给主机扩展出更多的接口,来连接外部的设备。大多数讲到HBA卡都是指光纤的HBA卡,给主机提供光纤接口的。也有ISCSI的HBA卡,链接ISCSI设备的,从这种功能上说,我们也可以把独立网卡称为HBA卡,通过独立网卡扩展出网口来连接外部网转载 2017-04-15 13:19:01 · 17968 阅读 · 0 评论 -
Ip-san 配置过程
SAN是storage area network(存储区域网络)的简写,早期的san采用的是光纤通道技术,后期当iscsi协议出现以后,为了区分两者,就划分了IP SAN和FC SAN。FC SAN由于其昂贵的价格让许多企业退避三舍,IP SAN作为一个很好的代替产品出现在了人们的视线中。现在大部分存储设备提供支持基于TOE技术的接口,可以在硬件基础上处理TCP/IP协议。这意味着ISCSI设备可转载 2017-03-18 15:46:48 · 16894 阅读 · 0 评论 -
VMware Integrated OpenStack (VIO)简介
VMware Integrated OpenStack是一款由VMware提供支持的OpenStack发行版软件,用于帮助IT在现有的VMware基础架构之上更加轻松地运行基于生产级OpenStack部署。由于基于现有的专业技能构建,因此VMware管理员能够通过基于VMware的软件定义的数据中心(SDDC)基础架构为开发人员提供不受供应商限制的OpenStack API,从而培养其创新意识并提转载 2016-06-26 15:50:07 · 5818 阅读 · 0 评论 -
关于VMAX中存储资源池(SRP)
Storage Resource Pool中的相关元素 SRP由一个或多个数据池组成,这些数据池包含了预配置的数据(或TDAT)设备,可为创建和呈现给主机与应用程序的精简设备(TDEVS) 提供存储。TDAT设备的物理存储由包含物理驱动器的磁盘组提供。为了解SRP及其在VMAX3配置和管理中发挥的作用,我们就务必了解这些主要元素,因为它们是组成SRP的底层实体。转载 2016-06-26 15:52:00 · 3989 阅读 · 0 评论 -
数据库存储I/O类型分析与配置
存储设备作为数据的容器,为应用提供数据存取服务,而存储系统将数据展现给不同的应用后,应用程序对数据访问不尽相同。简要来说,就是读和写,更加细分的话是以不同的传输单元(I/O大小)进行顺序和随机类型的读写。不同应用的I/O访问差异,直接决定了存储系统对它们的服务方式的不同,了解主流应用的I/O访问类型,是存储性能规划和调优的基础。 本文作主流数据库系统的存储I/O访问类型转载 2016-06-19 08:56:03 · 1672 阅读 · 0 评论 -
vMware存储:SAN配置基础
VMware存储不仅仅是将LUN映射给物理服务器这么简单。VMware vSphere允许系统管理员在一个物理机上创建多个虚拟机。潜在的hypervisor和vSphere ESXi,能够使guest虚拟机同时使用内部和外部存储设备。本文将会讨论在vSphere上构建SAN的基础以及管理员在部署共享SAN存储时的考虑因素。VMware存储:SAN原创 2016-06-26 15:42:29 · 15113 阅读 · 0 评论 -
云计算服务的三种类型(SaaS、PaaS、IaaS)
云计算可以帮助企业降低IT方面的成本和复杂性,并获得他们蓬勃发展所需的灵活性与敏捷性。但是,规划出通往云的明确路径并非易事。毕竟用户需要看透与云相关的市场大肆宣传,然后理解并分析不同种类的云计算模式的优点与缺点。此外,还需要确定备选的云中哪些最适合自己企业的战略、工作负载、性能、安全性需求和内部IT的专业知识,甚至希望将来某一刻可以完全地“Do it yourself“(自己动手)。转载 2016-06-26 15:48:09 · 28198 阅读 · 0 评论 -
快照COW
What is Copy-on-write?Copy-on-write Copy-on-write (sometimes referred to as "COW") is an optimization strategy used in computer programming. The fundamental idea is that if multiple callers原创 2017-01-07 16:03:54 · 558 阅读 · 0 评论 -
负载均衡
负载均衡器可以根据实际的响应时间制定优先级交付决策,从而实现高性能、智能化流量管理,达到最佳的服务器群性能。简单的说,负载均衡就是一个数据包重路由的过程,一般的设备都能做到4层的负载均衡,到7层的负载均衡,就需要能对服务器的应用负载进行检测了。 采用第七层应用控制可以减少通信高峰期的错误讯息,因为差错控制和流量管理技术可以侦测到一些错误信息,并透明地将会话重定向到另一个服务器,使原创 2017-01-10 09:33:49 · 256 阅读 · 0 评论 -
ceph基本架构简述
1. 介绍云硬盘是IaaS云平台的重要组成部分,云硬盘给虚拟机提供了持久的块存储设备。目前的AWS 的EBS(Elastic Block store)给Amazon的EC2实例提供了高可用高可靠的块级存储卷,EBS适合于一些需要访问块设备的应用,比如数据库、文件系统等。 在OpenStack中,可以使用Ceph、Sheepdog、GlusterFS作为云硬盘的开源解决方案,下面我们来了解Cep转载 2017-01-01 16:58:04 · 929 阅读 · 0 评论 -
Openstack 架构简述
概述在学习OpenStack的过程中,感觉对整个OpenStack的架构稍稍有些了解,所以将这些记录下来,一来防止自己忘记,二来也可以对有需要的人提供帮助本文章相关的灵感/说明/图片来自于https://github.com/yongluo2013/osf-openstack-training/blob/master/installation/openstack-icehouse-for-转载 2017-01-01 17:00:42 · 1572 阅读 · 0 评论 -
容灾备份技术
1.灾备和容灾的定义: 灾备实际是指的信息系统应对灾难的一整个流程,应该是既包含灾难前的备份,又包含灾难后的恢复。容灾比较侧重灾难发生时的系统切换应对能力,备份主要用于灾难发生后的数据恢复容灾是指为了保证关键业务和应用在经历各种灾难后,仍然能够最大限度的提供正常服务的所进行的一系列系统计划及建设行为。业务连续性是容灾的最终建设目标容灾是一个宏观的概念,通常大家所说的灾难备份、灾难恢原创 2017-02-15 14:43:42 · 1846 阅读 · 0 评论 -
软件定义存储
在一个生成的数据和数据种类都空前大量的时代,软件定义的存储赋予了企业有效应对此爆炸式增长的途径。当然,随着营销机器在过去几年的大肆渲染,我们越来越难以了解软件定义的存储的确切含义。因此,为了更好地了解软件定义的存储可如何提供帮助,我们先详细地定义一下这个术语。它不仅仅关乎软件。也许了解软件定义的存储的最重要一点就是它不仅仅关乎软件。毕竟,传统存储阵列一直以来都嵌入了复杂的软转载 2017-02-16 08:54:56 · 819 阅读 · 0 评论 -
软件定义存储的定义与分类
2011年8月21日,Netscape创始人马克·安德森(Marc Andreessen, 硅谷著名投资人, 投资了Facebook、Groupon、Skype、Twitter、Zynga和LinkedIn等高科技新秀),在华尔街日报上发表《软件正在吞噬整个世界》,认为当今的软件应用无所不在,并且正在吞噬整个世界: “越来越多的大型企业及行业将离不开软件,网络服务将无所不在,从电影、农业到国防。许转载 2017-02-16 09:20:04 · 8986 阅读 · 0 评论 -
高端存储发展趋势
1. 高端存储的技术发展趋势松耦合高端存储刚出现的时候,采用的是紧耦合的多控体系架构。紧耦合架构的特点就是所有的资源都是物理集中在一起的,这些资源通常包括前端接口,后端接口和Cache,一般都插在一个大机箱里。随着技术的发展,特别用户对总体拥有成本(TCO)和可扩展性的追求,现在的高端存储厂商大部分采用了松耦合的多控体系架构。它们都有一个特点,每个引擎都有自己的前端接口、后端接口和转载 2017-02-16 11:11:58 · 1269 阅读 · 0 评论 -
什么是存储虚拟化
什么是存储虚拟化?简而言之,虚拟化存储就是将数据从磁盘中抽象出来。在传统存储部署设置中,我们受限于驱动器盘符(在Windows系统上)或逻辑单元号(LUN),并且在特定磁盘层上给定了特定的RAID(独立磁盘冗余阵列)算法。虚拟化存储的第一个实例可能是来自将存储迁移到虚拟服务器环境。在大多数情况下,这需要实施某种形式的共享存储。这种共享存储通常是一个通过光纤通道或iSCSI(转载 2017-01-02 23:46:48 · 4223 阅读 · 0 评论 -
SAN,NAS区别的联系
在网络存储中,有着各种网络存储解决方案,例如:SAN,NAS,DAS存储网络,它们各自有着各自的特点,其运用场景也有所不同。下面就说说各自的特点。一、SANSAN(Storage Area Network)存储区域网络,是一种高速的、专门用于存储操作的网络,通常独立于计算机局域网(LAN)。SAN将主机(管理server,业务server等)和存储设备连接在一起,能够为其上的任意一台主机和转载 2017-02-23 14:11:29 · 763 阅读 · 0 评论 -
关于不同应用程序存储IO类型的描述
关于不同应用程序存储IO类型的描述原创 2016-06-09 EMC中文技术社区 EMC易安信中国技术社区 存储系统作为数据的载体,为前端的服务器和应用程序提供读写服务。存储阵列某种意义上来说,是对应用服务器提供数据服务的后端“服务器”。应用服务器对存储系统发送数据的“读”和“写”的请求。然而,不同的应用程序对存储的数据访问类型有所不同。本文描述典型的不同应用程序的存储转载 2016-06-24 11:23:53 · 566 阅读 · 0 评论