云计算
yangdong01
这个作者很懒,什么都没留下…
展开
-
RCFile — 用于 Facebook 数据仓库的高效存储结构
Facebook 公司 在 IEEE International Conference on Data Engineering (ICDE 2010) 会议上介绍了数据仓库 Hive 。 Hive 存储海量数据在 Hadoop 系统中,提供了一套类数据库的数据存储和处理机制。它采用类 SQL 语言对数据进行自动化管理和处理,经过语句解析和转换,最终生成基于 Hadoop 的 MapReduce 任务,通过执行这些任务完成数据处理。图 1 显示了 Hive 数据仓库的系统结构。 基于 MapReduce 的数原创 2011-05-05 18:13:00 · 708 阅读 · 0 评论 -
Facebook介绍Hbase使用的文章中了SIGMOD ’11
Hbase和Hypertable,这两个Bigtable类的系统我一直看好用于实时计算,FB付诸实践了,使用分层的架构,Hive+Hbase+Hadoop进行实时计算,文章和PPT都值得一看,或许未来不久国内公司会掀起一股H狂潮,呵呵。PDF Apache原创 2011-07-05 13:17:20 · 872 阅读 · 1 评论 -
典型分布式文件系统概述I
文件系统是操作系统用来组织磁盘文件的方法和数据结构。传统的文件系统指各种UNIX平台的文件系统,包括UFS、FFS、EXT2、XFS等,这些文件系统都是单机文件系统,也称本地文件系统。随着网络的兴起,为了解决资源共享问题,出现了分布式文件系统。分布式文件系统是原创 2011-07-05 13:46:55 · 759 阅读 · 1 评论