谷歌三大论文
GFS---hdfs
Map-Reduce }hadoop:Doug Cutting
BigTable----HBase列式数据库----PB
-------------------------------------------------------------------
HDFS(云盘)
优点:
高容错性:
数据自动保存多个副本(默认3)
副本丢失后,自动恢复
适合批处理:
移动计算而非数据 storm yarn
数据位置暴露给计算框架
适合大数据处理:
GB、TB、甚至PB级数据
百万规模以上的文件数量
10K+节点|
可构建在廉价机器上:
通过多副本提高可靠性
提供了容错和恢复机制
缺点:
低延迟数据访问
比如毫秒级
低延迟与高吞吐率
小文件存取
占用NameNode大量内存 元数据信息
寻道时间超过读取时间
并发写入、文件随机修改
一个文件只有一个写者
仅支持append
HDFS数据存储单元(block)
文件被切分成固定大小的数据块
默认数据块大小为64MB(可配置)
若文件大小不足64MB,则单独存为一个block
一个文件存储方式
按大小被切分成若干个bloak,存储到不同节点上
默认情况下每个block都有三个副本
Block大小和副本数通过Client端上传文件时设置,文件上传成功后副本数可以变更,Block Size不可变更
NameNode主要功能:接受客户端读写服务
NameNode保存metadate信息包括:
文件权限信息
文件包含那些块
Block保存在那个DataNode(由DataNode启动时上报)
GFS---hdfs
Map-Reduce }hadoop:Doug Cutting
BigTable----HBase列式数据库----PB
-------------------------------------------------------------------
HDFS(云盘)
优点:
高容错性:
数据自动保存多个副本(默认3)
副本丢失后,自动恢复
适合批处理:
移动计算而非数据 storm yarn
数据位置暴露给计算框架
适合大数据处理:
GB、TB、甚至PB级数据
百万规模以上的文件数量
10K+节点|
可构建在廉价机器上:
通过多副本提高可靠性
提供了容错和恢复机制
缺点:
低延迟数据访问
比如毫秒级
低延迟与高吞吐率
小文件存取
占用NameNode大量内存 元数据信息
寻道时间超过读取时间
并发写入、文件随机修改
一个文件只有一个写者
仅支持append
HDFS数据存储单元(block)
文件被切分成固定大小的数据块
默认数据块大小为64MB(可配置)
若文件大小不足64MB,则单独存为一个block
一个文件存储方式
按大小被切分成若干个bloak,存储到不同节点上
默认情况下每个block都有三个副本
Block大小和副本数通过Client端上传文件时设置,文件上传成功后副本数可以变更,Block Size不可变更
NameNode主要功能:接受客户端读写服务
NameNode保存metadate信息包括:
文件权限信息
文件包含那些块
Block保存在那个DataNode(由DataNode启动时上报)