初识Hadoop

谷歌三大论文
GFS---hdfs
Map-Reduce     }hadoop：Doug Cutting
BigTable----HBase列式数据库----PB
-------------------------------------------------------------------
HDFS（云盘）
优点：
高容错性：
    数据自动保存多个副本（默认3）
    副本丢失后，自动恢复
适合批处理：
    移动计算而非数据 storm yarn
    数据位置暴露给计算框架
适合大数据处理：
    GB、TB、甚至PB级数据
    百万规模以上的文件数量
    10K+节点|
可构建在廉价机器上：
    通过多副本提高可靠性
    提供了容错和恢复机制
缺点：
低延迟数据访问
    比如毫秒级
    低延迟与高吞吐率
小文件存取
    占用NameNode大量内存     元数据信息
    寻道时间超过读取时间
并发写入、文件随机修改
    一个文件只有一个写者
    仅支持append


HDFS数据存储单元（block）
文件被切分成固定大小的数据块
    默认数据块大小为64MB（可配置）
    若文件大小不足64MB，则单独存为一个block
一个文件存储方式
    按大小被切分成若干个bloak，存储到不同节点上
    默认情况下每个block都有三个副本
Block大小和副本数通过Client端上传文件时设置，文件上传成功后副本数可以变更，Block Size不可变更
NameNode主要功能：接受客户端读写服务
NameNode保存metadate信息包括：
  文件权限信息
  文件包含那些块
  Block保存在那个DataNode（由DataNode启动时上报）