云存储
小魔菇
还是那么菜 木有办法
展开
-
Facebook数据仓库揭秘:RCFile高效存储结构
Facebook曾在2010 ICDE(IEEE International Conference on Data Engineering)会议上介绍了数据仓库Hive。Hive存储海量数据在Hadoop系统中,提供了一套类数据库的数据存储和处理机制。它采用类SQL语言对数据进行自动化管理和处理,经过语句解析和转换,最终生成基于Hadoop的MapReduce任务,通过执行这些任务完成数据处理。图转载 2012-07-30 16:27:17 · 345 阅读 · 0 评论 -
浅谈Facebook图片存储系统HayStack概要
HayStack是Fackbook用于存储照片的系统,其存储照片的数量在千亿数量级,本文简要分析HayStack的设计与实现原理。 图片存储的几个关键点: 1. Metadata信息存储。由于图片数量巨大,单机存放不了所有的Metadata信息,假设每个图片文件的Metadata占用100字节,260 billion图片Metadata占用的空间为260G * 100 = 26000G转载 2012-07-31 11:30:54 · 536 阅读 · 0 评论