Hadoop简介

Hadoop简介

1. 分布式存储系统HDFS （Hadoop Distributed File System）
   • 分布式存储系统
   • 提供了 高可靠性、高扩展性和高吞吐率的数据存储服务
2. 分布式计算框架MapReduce
   • 分布式计算框架
   • 具有 易于编程、高容错性和高扩展性等优点

HDFS优点：

1. 高容错性
   • 数据自动保存多个副本
   • 副本丢失后，自动恢复
2. 适合批处理
   • 移动计算而非数据
   • 数据位置暴露给计算框架
3. 适合大数据处理
   • GB 、TB 、甚至PB 级数据
   • 百万规模以上的文件数量
   • 10K+ 节点
4. – 可构建在廉价机器上
   • 通过多副本提高可靠性
   • 提供了容错和恢复 机制

HDFS缺点：

1. 低延迟数据访问
   • 比如毫秒级
   • 低延迟与高吞吐率
2. 小文件存取
   • 占用NameNode 大量内存
   • 寻道时间超过读取时间
3. 并发写入、文件随机修改
   • 一个文件只能有一个写者
   • 仅支持append

HDFS架构