Hadoop 入门知识

• Hadoop 的基本组成
  
  • HDFS 分布式文件管理系统，主要是用来实现分布式存储的底层支持。
  • MapReduce 分布式程序处理框架，主要是实现对并行任务的程序支持。
• HDFS
  
  • HDFS 采用的是主从结构(master/slave)模式。一个HDFS集群是由一个NameNode和若干个DataNode组成的。
  • 其中NameNode作为主服务器，管理文件系统的命名空间和访问操作
  • DataNode是管理存储的数据。
  • 从内部看，文件允许被分成若干个数据块，若干个数据块存放在一组DataNode中，NameNode执行文件系统的命名空间操作，比如打开，重命名等操作。NameNode也负责数据块到具体DataNode的映射工作（个人猜测可能是存在一张映射表，记录每个数据块和DataNode的关系）。DataNode负责处理文件系统客户端的文件读写请求。
  • 用户保存数据不用通过NameNode，而是直接流向DataNode？
  • 
• MapReduce 计算框架
  
  • 
  • 流程：
    
    • 先是用InputFormat对输入的文件进行处理，将其转化成