2021-03-02

一、认识Hadoop

       hadoop的产生是为乐使用大量的廉价的机器，组成一个集群！完成大数据的储存和计算。

1.hadoop的组件

 （1）HDFS(框架)：负责大数据的存储；
 （2）Common：HDFS与MapReduce共有的常用的工具包模块；
 （3）MapReduce(MR 编程模型):负责资源的计算；由于MR的低效性，出现了许多更为高效的计算框架，如：Storm、Spark、Flink、Tez；
 （4)YARN(框架)：负责资源的调度。YANR申请的资源可以在MR和其他的计算框架中执行。

1.1、HDFS

  负责大数据的存储，核心进程（必要进程）是：Namenode和Datanode.
  1)Namenode(NN) 负责文件名称等信息的存储。文件名称、大小、分了多少块、创建于修改时间等。
职责：接收客户端的请求、接收DN的请求、向DN分配任务。
  2)Namenode(DN) 负责文件中数据的存储。
职责：接收NM分配的任务、负责数据块的（block）的管理（读、写）。
  3）SecondaryNamenode(可选进程):协助主名称节点（注意：不可替代主名称节点）

1.2、MapReduce

  MapReduce分为Mapper(简单处理)与Reducer(合并）。①遵循MapReduce的规范，编写的程序，打包后，称为一个Job(任务）。②Job需要提交到YARN上，向YARN申请计算资源，运行Job中的Task(进程）。③Job会先创建一个进程MRAppMaster（mapreduce 应用管理者），由MRAppMater向YARN申请资源！④MRAppMater负责监控Job中的各个Task运行情况，进行容器容错管理。

1.3、YARN

  YARN负责集群中所有计算资源的管理和调度。
进程：
  Resourcemanager(RM 1个）：负责整个集群的的所有资源的管理。
  职责：接收客户端提交的Job的请求、负责向NM分配任务、负责接收NM上报的信息。
  NodeManager(NM 多个）：负责单台计算机所有资源的管理。
  职责：负责与RM进行通信，上报本机中的可用资源、负责领取RM分配的任务、负责为Job中的每个Task分配计算资源。
Container(容器）：NodeManager为Job的某个Task分配了任务，将就计算资源放到Container中，防止其他Task抢占资源。

二、大数据系统架构

1.系统架构图

代码如下（示例）：借张尚硅谷大佬的结构图。
分析：
  1、Sqoop：Sql to hadoop 是一款开源的的工具，主要用在Hadoop(Hive)与传统数据库（mysql）简数据的传递。用于关系型数据库与Hadoop的HDFS之间数据的传输。
  2、Flume：Flume是Cloudra提供的一个高可用，高可靠，分布式的海量日志采集、聚合和传输的系统、Flume支持在日志系统定制各类数据发送方，用于收集数据。
  3、Kafka:Kafka是一种高吞吐的分布式发布订阅消息系统。
  4、Storm：Storm为分布式实时计算提供了一组通用原语。可被用于“流处理中”，实习处理消息并更新数据库。
v5、Spark：Spark是当前最流行的开源大数据内存计算框架。可以基于Hadoop上存储的大数据记性计算。
  6、Hbase：HBase是一个分布式的、面向列的开源数据库。HBase不同于一般的关系型数据库，它适合于非结构化数据存储的数据库。
  7、Hive：hive是基于Hadoop的一个数据仓库工具，可将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。
  8、ZooKeeper：Zookeeper是Google的Chubby一个开源的实现。它是一个针对大型分布式系统的可靠协调系统。ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单的接口和性能高效、功能稳定的系统提供给用户。