- 博客(2)
- 资源 (15)
- 收藏
- 关注
转载 浅谈Facebook图片存储系统HayStack概要
HayStack是Fackbook用于存储照片的系统,其存储照片的数量在千亿数量级,本文简要分析HayStack的设计与实现原理。 图片存储的几个关键点: 1. Metadata信息存储。由于图片数量巨大,单机存放不了所有的Metadata信息,假设每个图片文件的Metadata占用100字节,260 billion图片Metadata占用的空间为260G * 100 = 26000G
2012-07-31 11:30:54 567
转载 Facebook数据仓库揭秘:RCFile高效存储结构
Facebook曾在2010 ICDE(IEEE International Conference on Data Engineering)会议上介绍了数据仓库Hive。Hive存储海量数据在Hadoop系统中,提供了一套类数据库的数据存储和处理机制。它采用类SQL语言对数据进行自动化管理和处理,经过语句解析和转换,最终生成基于Hadoop的MapReduce任务,通过执行这些任务完成数据处理。图
2012-07-30 16:27:17 375
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人