spsustc-CSDN博客

转载 Hbase介绍

HBase简介HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase是Google Bigtable的开源实现，类似Google Bigtable利用GFS作为其文件存储系统，HBase利用Hadoop HDFS作为其文件存储系统；Google运

2013-10-23 19:15:44 439

转载新一代linux文件系统brtfs

Btrfs 简介文件系统似乎是内核中比较稳定的部分，多年来，人们一直使用 ext2/3，ext 文件系统以其卓越的稳定性成为了事实上的 Linux 标准文件系统。近年来 ext2/3 暴露出了一些扩展性问题，于是便催生了 ext4 。在 2008 年发布的 Linux2.6.19 内核中集成了 ext4 的 dev 版本。 2.6.28 内核发布时，ext4 结束了开发版，开始接受用户的使

2013-10-23 10:46:33 2073

转载开源搜索引擎介绍

我所知道的搜索引擎方案仅有:1. Nutch (http://nutch.apache.org/)2. Datapark search http://www.dataparksearch.org/以下列表不是一个完整的搜索引擎方案，一般都不包括爬虫，确切的说是IR或者全文检索引擎更为恰当：1. Zettair http://www.seg.rmit.edu.au/zet

2013-10-22 15:35:26 928

转载 swift对象存储学习篇

基本介绍:http://www.programmer.com.cn/12403/具体介绍:http://www.cnblogs.com/yuxc/archive/2011/12/06/2278303.html

2013-10-21 11:15:05 734

转载分布式文件系统MFS、Ceph、GlusterFS、Lustre的比较

MooseFS(MFS)CephGlusterFSLustreMetadata server单个MDS。存在单点故障和瓶颈。多个MDS，不存在单点故障和瓶颈。MDS可以扩展，不存在瓶颈。无，不存在单点故障。靠运行在各个节点上的动态算法来代替MDS,不需同步元数据,无硬盘I/O瓶颈

2013-10-21 11:08:04 1125

转载 NAS实现类型对比：统一式、网关式和横向扩展式（Scale-out）

NAS主要有三种类型的实现：统一式、网关式和横向扩展式（Scale-out）。统一NAS使用统一的存储平台将基于NAS和基于SAN的数据访问合并，提供了可以同时管理二种环境的统一管理界面。网关NAS使用外部存储来存取数据，网关NAS和存储的管理操作是分开的。横向扩展式（Scale-out）NAS可组合多个节点，形成一个集群NAS系统。本文将对比三种不同NAS实现类型。统一NAS统一

2013-10-21 10:23:00 3310

转载 DAS,NAS,SAN区别

DAS、NAS、SAN三者最大的区别就是：SAN结构中，文件管理系统（FS）还是分别在每一个应用服务器上；而NAS则是每个应用服务器通过网络共享协议。（如：NFS、CIFS）使用同一个文件管理系统。换句话说：NAS和SAN存储系统的区别是NAS有自己的文件系统管理。目前磁盘存储市场上，存储分类（如下表一）根据服务器类型分为：封闭系统的存储和开放系统的存储，封闭系统主

2013-10-21 10:01:52 601

转载 Linux 对象存储文件系统的研究

一、引言高性能计算已由传统的主机方式逐渐向集群方式演变，如TOP500中，1998年只有2台系统是集群方式，而到2003年已有208台为集群系统。随着高性能计算体系结构的发展变化，传统的基于主机的存储架构已成为新的瓶颈，不能满足集群系统的需求。集群的存储系统必须有效解决两个主要问题：（1）提供共享访问数据，便于集群应用程序的编写和存储的负载均衡；（2）提供高性能的存储，在I/O级和数据吞吐

2013-10-20 23:27:20 1402

转载对象存储介绍

块是存储的基础架构，对块的管理是简单的。从全球第一个磁盘存储技术50年前诞生到现在，块的技术没有发生太大变化。磁盘工业生产遍及全球。最近几年，存储行业兴起存储虚拟化和数据整合的新概念，在这些概念和方案中，数据还是以块的形式通过网络进行读写操作。块形式的存储在满足数据可扩展性和数据安全性的增长方面，日益显现出其局限性和不足。国际上主要有两类网络化存储架构，它们是通过命令集来区分的。第一类是SAN

2013-10-20 23:11:36 1845

转载 linux系统的Device-mapper机制

本文结合具体代码对 Linux 内核中的 device mapper 映射机制进行了介绍。Device mapper 是 Linux 2.6 内核中提供的一种从逻辑设备到物理设备的映射框架机制，在该机制下，用户可以很方便的根据自己的需要制定实现存储资源的管理策略，当前比较流行的 Linux 下的逻辑卷管理器如 LVM2（Linux Volume Manager 2 version)、EVMS(

2013-10-20 00:16:22 1604

转载逻辑卷管理器--LVM

在LVM中，主要有三个概念：物理卷(Physical Volume, PV)：物理卷可以是一个磁盘，也可以是磁盘中的一个分区。它为LVM提供了存储介质。逻辑卷组(Logical Volume Group, LVG)：可以把逻辑卷组想象成一个存储池，或者是逻辑硬盘。物理卷与物理卷在硬件上可以是不连续的，但把多个物理卷加入逻辑卷组后，就可以把这个逻辑卷组看成一个存储空间连续的逻

2013-10-20 00:04:23 671 1

转载 nosql数据存储分类

类型部分代表特点列存储HbaseCassandraHypertable顾名思义，是按列存储数据的。最大的特点是方便存储结构化和半结构化数据，方便做数据压缩，对针对某一列或者某几列的查询有非常大的IO优势。文档存储MongoDBCouchDB

2013-10-19 21:00:28 777

转载 NoSQL数据库笔谈

NoSQL数据库笔谈databases , appdir , node , paper颜开 , v0.2 , 2010.2序思想篇CAP最终一致性变体BASE其他I/O的五分钟法则不要删除数据RAM是硬盘,硬盘是磁带Amdahl定律和Gustafson定律万兆以太网手段篇一致性哈希亚马逊的现状算法的选择Quorum

2013-10-19 20:16:28 1378

转载 SCSI工作原理

SCSI 工作原理SCSI 实现了一种客户机/服务器风格的通信架构。发起者向目标设备发送命令请求。该目标处理此请求并向发起者返回响应。发起者可以是托管计算机中的一个 SCSI 设备，而 SCSI 目标则可以是一个磁盘、光盘和磁带设备或特殊设备（比如箱体设备）。回页首SCSI 命令SCSI 传输所采用的协议已经时过境迁，SCSI 命令却保持了最初的元素。SCS

2013-10-19 19:14:07 5423

转载 11个面向文档的开源NoSQL数据库

面向文档数据库是用于存储、检索和管理面向文档和半结构化的数据。它是NoSQLogic数据库的一个主要类别。其核心概念就是文档的观念，虽然不同的面向文档数据在实现这个定义上有差别，（在一般情况下，）但它们在文档封装和数据编码上有一些标准格式。编码包括 XML、YAML、JSON 和 BSON，还有二进制格式（诸如PDF和MS office 文档）1. MongoDB 是一个介于关系数据库

2013-10-19 16:44:44 662

转载文件数据库和关系数据库的异同

从1989年起，Lotus通过其群件产品Notes提出了数据库技术的全新概念-"文件数据库"，文件数据库差别于传统的其他数据库，他是用来管理文件。在传统的数据库中,信息被分割成离散的数据段，而在文件数据库中，文件是处理信息的基本单位。一文件能非常长、非常复杂、能无结构，和字处理文件类似。文件数据库和五、六十年代管理数据的文件系统不同，文件数据库仍属于数据库范畴。首先，文件系统中的文件基本上对应

2013-10-19 16:37:24 1142

转载文件系统和数据库系统的区别

早期的数据库管理都是采用文件系统。在文件系统中，数据按其内容、结构和用途组成若干命名的文件。文件一般为某个用户或用户组所有，但可供其他用户共享。用户可以通过操作系统对文件进行打开、读、写和关闭等操作。文件系统有明显的缺点: (1).编写应用程序很不方便。应用程序的设计者必须对所用的文件的逻辑及物理结构有清楚的了解。操作系统只能打开、关闭、读、写

2013-10-19 12:44:21 7067 1

raindaysps的专栏