存储
在hust快乐的学习
希望通过CSDN这个平台认识更多志同道合的朋友!
实现共同进步!
展开
-
深入理解Hadoop集群和网络
本文将着重于讨论Hadoop集群的体系结构和方法,及它如何与网络和服务器基础设施的关系。最开始我们先学习一下Hadoop集群运作的基础原理。Hadoop里的服务器角色Hadoop主要的任务部署分为3个部分,分别是:Client机器,主节点和从节点。主节点主要负责Hadoop两个关键功能模块HDFS、Map Reduce的监督。当Job Tracker使用Map Reduce转载 2012-08-31 16:37:38 · 1028 阅读 · 0 评论 -
经典论文翻译导读之《Google File System》
GFS这三个字母无需过多修饰,《Google File System》的论文也早有译版。但是这不妨碍我们加点批注、重温经典,将GFS、TFS、Haystack进行一次全方位的对比,一窥各巨头的架构师们是如何权衡利弊、各取所需。1. 介绍我们设计和实现了GFS来满足Google与日俱增的数据处理需求。与传统的分布式文件系统一样,GFS着眼在几个重要的目标,比如性能、可伸缩性、可靠性和转载 2013-03-26 10:59:41 · 2142 阅读 · 0 评论 -
重复数据删除
一:数据重删技术概述1.源端去重 && 宿端去重源端去重(Source Deduplication)首先在客户端计算待传输数据的指纹并通过与服务端进行指纹比对发现和消除重复内容,然后仅向服务端发送非重复数据内容 , 从而达到同时节约网络带宽和存储资源的目标。宿端去重( Destination Deduplication)直接将客户端的数据传输到服务端,并在服务端内部检测和消除重复内原创 2012-10-27 21:24:04 · 4839 阅读 · 0 评论 -
DAS、NAS、SAN、iSCSI
随着计算机网络技术的飞速发展,各种网络服务器对存储的需求随之发展,但由于商业企业规模不同,对网络存储的需求也应有所不同,选择不当的网络存储技术,往往会使得企业在网络建设中盲目投资不需要的设备,或者造成企业的网络性能低下,影响企业信息化发展,因此商业企业如何选择和使用适当的专业存储方式是非常重要的。目前高端服务器所使用的专业存储方案有DAS、NAS、SAN、iSCSI几种,通过这几种专业的存储方案使原创 2012-11-27 22:03:09 · 2961 阅读 · 0 评论 -
flash存储器(NOR Flash和NAND Flash)
Flash存储器经历了最初应用于个人计算机BIOS( basic input output system)存储、嵌入式系统的标准存储器,到目前在某些笔记本电脑中代替磁盘作为外存储器,并被引入到企业级存储的高端存储阵列中,Flash存储技术已经得到很大的发展。作为一种电可擦除可编程只读存储器,Flash存储器不但能在不移除存储芯片的情况下进行擦除和编程操作,还具有非易失性、固态性、体积小、重量轻、抗原创 2012-12-01 16:03:43 · 3797 阅读 · 0 评论 -
iSCSI与FCoE
iSCSI:Internet Small Computer System Interface(Internet 小型计算机系统接口 )技术是一种由IBM公司研究开发的,是一个供硬件设备使用的可以在IP协议的上层运行的SCSI指令集,这种指令集合可以实现在IP网络上运行SCSI协议,使其能够在诸如高速千兆以太网上进行路由选择。iSCSI技术是一种新储存技术,该技术是将现有SCSI接口与以太网络(Et原创 2012-11-27 20:39:50 · 6901 阅读 · 4 评论 -
IDE、SATA、SCSI、FC、SAS简介与区别
IDE(Integrated Drive Electronics)即“电子集成驱动器”,它的本意是指把“硬盘控制器”与“盘体”集成在一起的硬盘驱动器。把盘体与控制器集成在一起的做法减少了硬盘接口的电缆数目与长度,数据传输的可靠性得到了增强,硬盘制造起来变得更容易,因为硬盘生产厂商不需要再担心自己的硬盘是否与其它厂商生产的控制器兼容。对用户而言,硬盘安装起来也更为方便。IDE这一接口技术从诞生至今就原创 2012-11-27 18:40:11 · 17849 阅读 · 0 评论 -
云存储关键技术研究与发展应用
1 云存储的定义1.1 定义1 云存储系统以传统的分布式存储技术为基础,利用高吞吐率网络技术为依托,一方面高效地整合管理网络存储资源,另一方面对外提供友好的接口,发布便捷的网络数据存储服务1.2 定义2 从狭义上来说,云存储是指通过虚拟化、分布式技术、集群应用、网格技术、负载均衡等技术,将网络中大量的存储设备通过软件集合起来高效协同工作,共同对外提供低成本、高扩展性原创 2012-10-27 20:00:45 · 14850 阅读 · 1 评论 -
持续数据保护
持续数据保护传统数据备份技术已无法解决企业数据变化以及灾难发生时的数据保护,因为传统数据备份技术只能解决数据周期性的备份,不能精确到实时捕捉数据的变化,因此更进一步的能解决用户数据不定时变化而发挥有效保护的CDP顺势而生,为广大的企业带来更保险的数据保护方案。正是因为有更大的需求和更广阔的市场,国外几大知名IT生产商都推出了持续数据保护CDP,经过角逐与发展,现今市场上主要剩下IBM、EM原创 2012-10-28 11:06:58 · 2939 阅读 · 0 评论 -
内容分发网络
1 CDN简介Content Delivery Network(CDN)是以现有互联网为基础的专业化综合应用平台, 它由分布在网络边缘的应用服务器群组成, 通过应用层的内容智能路由, 自动保证用户实现就近访问, 为网站提供高效、稳定、安全的内容和应用的分布服务。举个例子来说, 当某用户访问网站时, 网站会利用全球负载均衡技术, 将用户的访问指向到距离用户最近的正常工作的缓存服务器上, 直接原创 2012-10-30 19:28:52 · 2236 阅读 · 0 评论 -
全面解读VTL(虚拟磁带库)
虚拟磁带的概念在数据中心中已经存在许多年了。它原来是为IBM大型机而引入的,现在迅速扩展到许多开放系统。VTL(虚拟磁带库)从逻辑上就像物理磁带库:它们逻辑上显示并操作为物理磁带设备,包括虚拟磁带驱动器、数据匣、磁带插槽、机械臂和条形码标签。一个虚拟磁带库(VTL)从物理上是一个高度智能并优化的基于磁盘的存储设备。由于VTL完全模拟为一个标准库,因此虚拟磁带的引入是无缝的并且对现有磁带备份转载 2012-10-29 17:14:47 · 5411 阅读 · 0 评论 -
自动存储分层
自动存储分层自动存储分层(Automated Storage Tier,AST)管理系统的基本业务是能够将数据安全地迁移到较低的存储层中并削减存储成本。在其他的情况下,有必要将数据迁移到更高性能的存储层中。自动存储分层(AST)在于两个目标--降低成本和提高性能。 目前最常见的“Sub-LUN”式自动分层存储技术,基本上可视为是三个功能的综合:(1)存储虚拟化:将分散在不原创 2012-10-29 16:39:06 · 6049 阅读 · 0 评论 -
存储虚拟化
存储虚拟化作为实现云存储平台的一项基本技术,占有了不可或缺的技术地位。目前,随着世界各地的大型数据中心的不断涌现,存储虚拟化技术的应用更是受到广大存储用户的青睐。存储虚拟化是通过在物理或虚拟服务器与现有物理存储之间创建虚拟抽象层来实现的。一旦执行了存储虚拟化,数据的物理位置就变得透明了。存储资源的供给可以跨越所有存储厂商的硬件,以相同的方式完成。存储可以进行分级,数据可以在分级存储中自动存储,原创 2012-10-22 13:15:55 · 2853 阅读 · 1 评论 -
高速缓存与主存的三种映射方式
1、全相联映射方式全相联映射是指主存中任意一个块都可以映射到cache中任意一个块的方式,也就是说,当主存中的某一块需调入cache时,可根据当时cache的块占用或分配情况,选择一个块给主存块存储,所选的cache块可以是cache中的任意一个块。例如,设cache共有2C块,主存共有2M块,当主存的某一块j需调进cache中时,它可以存入cache的块0、块1、…、块i、…或块2C-1的任原创 2014-07-18 21:52:42 · 21588 阅读 · 0 评论