HDFS简述及其三种运行模式

Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的。HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的。HDFS是Apache Hadoop Core项目的一部分。

总的来说，dfs(Hadoop Distributed File System)实质是分布式文件系统，作为Apache Nutch的基础架构具有高容错性的特点适用于大规模数据集。

简单概述Hadoop三种运行模式

Hadoop有下列三种运行模式:

• 单机模式
• 伪分布式模式
• 完全分布式模式

单机模式

• 默认模式。
• 不对配置文件进行修改。
• 使用本地文件系统，而不是分布式文件系统。
• Hadoop不会启动NameNode、DataNode、JobTracker、TaskTracker等守护进程，Map()和Reduce()任务作为同一个进程的不同部分来执行的。
• 用于对MapReduce程序的逻辑进行调试，确保程序的正确。

伪分布式模式

• 在一台物理主机上模拟多台主机。
• Hadoop启动NameNode、DataNode、JobTracker、TaskTracker这些守护进程都在同一台机器上运行，是相互独立的Java进程。
• 在这种模式下，