仅听讲座笔记,供个人使用
Bigtable : google论文---- 一个结构化数据的分布式存储系统
hadoop : 分布式系统基础架构
基于hadoop的框架:
HDFS: Hadoop
分布式文件系统(Distributed File System) - HDFS (Hadoop Distributed File System)
MapReduce:
并行计算框架,0.20前使用 org.apache.hadoop.mapred 旧接口,0.20版本开始引入org.apache.hadoop.mapreduce的新API。数据分存多台机器,任何一份数据有两个备份。计算时数据不动,代码分发到各台机器,计算完后传结果到总机。
HBase: 类似Google BigTable的分布式NoSQL列数据库。(
HBase和
Avro已经于2010年5月成为顶级 Apache 项目)