Hadoop的简单介绍

在现在大数据计算领域，开始普及使用spark，但是spark是为了能获取比Hadoop更高性能发展起来的。在spark的生态圈里其中底部存储可以利用Hadoop的底层存储部件HDFS，在资源调度方面也可以使用Hadoop的资源调用部件YARN。

Hadoop的组件有基础部分common，核心部分HDFS、MapReduce计算框架(用户自己编写处理框架)、YARN资源调用框架。另外还有许多依托于其之上的大数据框架，比如Hive、HBase、impala、pig等。如下图所示：

图片来自于网络

common部分主要是Hadoop框架底层的一些底层组件，(包括数据IO、数据类型、序列化、安全的各个组件通用的部分)。

HDFS是底层负责存储数据的技术，存放着需要被处理的海量数据，大数据的框架基本是依赖于hdfs存储的。

Yarn是负责分配程序运行时需要的资源。

MapReduce是编写的处理存储在HDFS上的数据的代码程序。

Hadoop的组件在设计时都是分布式的主从架构，主节点负责管理、协调，从节点负责执行程序。

所有的数据类型都需要实现Writable接口，实现其中的write()方法和readFields()方法。