基于hadoop构建对象存储系统_基于Hadoop企业私有云存储平台的构建

量数据存储、数据规模易扩展性的要求。

关键词：

企业级用户；私有云；云存储；

Hadoop

；云计算；海量数据；

HBase

；元数据

中图分类号：

TP 391

文献标志码：

A

Establishment of enterprise private cloud storage platform based on Hadoop

SUN Fuquan, ZHANG Dawei, CHENG Xu, LIU Chao

(Department of Information Technology and Business Management, Dalian Neusoft Institute of

Information, Dalian 116023, China)

Abstract:

The quantity of document and data from enterprise-level users increases exponentially, and the existing

file storage facilities cannot meet the growth. This study proposes to establish an enterprise private cloud storage

platform

based

on

Hadoop.

Using

Linux

cluster

technology,

distributed

file

systems

and

cloud

computing

framework, a mass data storage and high-speed data processing service can be achieved. The study compares the

private cloud storage with the traditional storage model, analyzes the advantage and feasibility of private cloud

storage technology, and presents an architecture model for enterprise private cloud storage. Theoretical analysis

shows that the enterprise private cloud storage platform is suitable for critical business applications, and online

transaction processing. The platform can meet the requirements from mass data storage and data scale expansion.

Keywords:

enterprise-level

users; private cloud;

cloud storage; Hadoop;

cloud

computing;

mass

data; Hbase;

MetaData

0  引  言

目前，许多来自于电信行业、石油石化行业、

数字媒体行业、医疗行业，以及

Web2.0

、金融分析

行业的企业级用户，正面临文件和数据量的指数级

增长，现有的文件存储设施不能适应业务增长，系

统管理复杂，系统成本、运营成本不断上升，存储

设施面临着多重挑战等问题。

如邮件、

图片、

音频、

视频等非结构化数据爆炸性增长；越来越多的企业

级应用对高性能联机事务处理能力和复杂查询操

作能力的需求不断提高

[1]

；对数据访问带宽和响应

时间以及数据的并行访问业务有更高的要求；企业

现有系统的扩展能力差，难以满足企业快速变化的

业务需求。传统的

NAS

方案扩展能力有限，并且面

向企业级的

NAS

设备价格往往非常昂贵，购买以及

安装独立的

NAS

设备，将面临着巨大的经济压力和

额外的维护成本。因此，为企业提供一种经济可行

的、易于管理的存储平台，可以帮助企业使用尽可

能低的成本完成数据与计算双重密集型任务

[2]

。

云计算具有动态部署的功能，可以利用廉价的

服务器构建企业级存储平台，具有更加弹性、更加

安全以及更低的成本。尤其是私有云能够保护企业

核心数据的安全，相比公共云服务，私有云服务所

带来的风险会降低很多。企业针对关键业务应用、

核心数据存储以及数据的高可靠性需求上更容易

接受企业私有云的运营模式。

CNKI:21-1379/N.20111211.2148.036

2011-12-11 21:48

http://www.cnki.net/kcms/detail/21.1379.N.20111211.2148.036.html