Hadoop第一课，什么是Hadoop以及有什么用

1.了解什么是hadoop

   Hadoop是一个由Apache基金会所开发的用于大数据开发所使用的一个分布式系统基础架构。（简单来说就是大数据开发的软件框架，可以实现存储信息，查看信息，管理信息）

2.hadoop的基本特征：

    1.高可靠性。采用冗余数据存储方式，当一个副本发生故障，其他副本也可以保证正常对外提供服务。

     2.高扩展性。实现线性扩展，可以扩展到数以千计的计算机节点上。

     3.高效性。采用分布式存储和分布式处理两大核心技术，能够高效的处理PB级数据。

    4.高可用性。NameNode包括active和standby两种状态，通过故障转移机制，来保证HDFS的高可用性。

    5.高容错性。自动保存数据的多个副本，并且能够自动将失败的任务进行重新分配。

    6.以及低成本、多平台运行、支持多种编程语言、数据本地化等特征。

3.了解hadoopd的生态系统

           Hadoop系统不断的演变和完善，如今已经形成了一个庞大的体系。它不仅包括核心组件HDFS、MapReduce和YARN，还包括Hive、Mahout、HBase、Flume、Ambari、Zookeeper、Sqoop、Kafka、Spark等

4.了解hadoopd的框架核心组件:HDFS和MapReduce。

你们肯定会问是什么是HDFS和MapReduce?

简单回答：HDFS是为海量的数据提供了存储

                   MapReduce是为海量的数据提供了计算。

         HDFS（HadoopDistributedFileSystem)是Hadoop下的分布式文件系统，具有高容错、高吞吐量等特性。HDFS使用Master和Slave结构对集群进行管理。一般一个HDFS集群只有一个Namenode和一定数目的Datanode组成。Namenode是HDFS集群主节点，Datanode是HDFS集群从节点，两种角色各司其职，共同协调完成分布式的文件存储服务。

HDFS工作流程图：

        客户端要向hdfs写入数据，首先要跟namenode通信以确认可以写文件并获得接收文件block的datanode，然后，客户端按照顺序将文件block逐个传给相应datanode，并由接收到block的datanode负责向其他datanode复制block副本等

（HDFS流程图）

MapReduce将分成两个部分"Map"和"Reduce。

   

• MapReduce的思想核心是“先分再合，分而治之”。
• 所谓 “分而治之”就是把一个复杂的问题，按照一定的“分解”方法分为等价的规模较小的若干部分，然后逐个解决，分别找出各部分的结果， 然后把各部分的结果组成整个问题的最终结果。（就相当于我有一个苹果我要吃了它，但是太大了，我切成三四片，最后实现吃了它的目的。）

       当你向MapReduce框架提交一个计算作业时，它会首先把计算作业拆分成若干个Map任务，然后分配到不同的节点上去执行，每一个Map任务处理输入数据中的一部分，当Map任务完成后，它会生成一些中间文件，这些中间文件将会作为Reduce任务的输入数据。Reduce任务的主要目标就是把前面若干个Map的输出汇总到一起并输出。

MapReduce工作流程图：

         首先对输入数据源进行切片，master调度worker执行map任务，worker读取输入源片段，worker执行map任务，将任务输出保存在本地，master调度worker执行reduce任务，reduceworker读取map任务的输出文件，执行reduce任务，将任务输出保存到HDFS。

（MapReduce流程图）

 

 

这篇文章就介绍到这里，欢迎期待下篇文章：Hadoop生态圈组件详情介绍的和Hadoop与Spark的对比。

---

作者新手一个，文笔粗糙，若理解有误请大佬们指出！！感激不尽🤝