Hadoop

Hadoop

Hadoop是什么？

Hadoop是个JAVA的开源框架，它实现了一个分布式文件系统(Hadoop Distributed File System)HDFS,它可以部署在廉价的硬件上，处理大数据集的应用程序，并以流的形式访问文件系统中的数据。Hadoop专为从单一服务器到多台机器拓展，并且每个机器都可以提供本地计算和存储。

Hadoop架构

• Hadoop Common
  Hadoop Common为其他Hadoop模块提供了基础设施
• Hadoop HDFS
  这是一个高吞吐量的分布式文件系统(DFS)指多台计算机协同解决单台计算机所不能解决的计算，存储等问题,也可以说是集群文件系统
• Hadoop MapReduce
  分布式离线(这也就是和之后Spark形成了对比)计算框架
• Hadoop YARN
  一个Hadoop资源管理器,为上层应用提供统一的资源管理和调度。