大数据-Hadoop概念

  1. Apache_Hadoop维基百科
  2. hadoop官网链接
  3. hadoop的优点
    3.1 高可靠
    hadoop维护了多个数据副本,当存储故障或计算故障时,不会导致数据丢失
    3.2 高扩展
    可以很方便的扩展节点
    3.3 高效率
    在MapReduce的思想下,hadoop是并行工作的,加快任务处理速度
    3.4 高容错性
    失败的任务重新分配执行
  4. hadoop的组成
    hadoop 1.x MapReduce + HDFS + Common
    hadoop 2.x MapReduce + Yarn + HDFS + Common
    4.1 HDFS组成
    NameNode: 存储文件的元数据
    DataNode: 存储文件块信息,以及块数据的校验和
    SecondaryNameNode :用来监控HDFS状态的后台程序,每隔一段时间获取HDFS元数据快照
    4.2 Yarn组成
    ResourceManager: 处理客户端请求,监控nodeManager,启动监控ApplicationMaster,资源分配和调整
    NodeManager: 管理单个节点上的资源,处理来自来自ResourceManager的命令,处理来自ApplicationMaster的命令
    ApplicationMaster: 负责数据的切分,为应用程序申请资源并分配给内部的任务,任务的监控和容错
    Container: 资源抽象,封装了某个节点上的多维度资源,例如内存,CPU,磁盘,网络等
    4.3 MapReduce架构概述
    MapReduce分为两个阶段: Map 和 Reduce, map阶段负责并行处理输入数据,reduce阶段对map结果进行汇总
  5. hadoop运行模式
    5.1 本地模式
    默认模式,不对配置文件进行修改,使用本地的文件系统
    5.2 伪分布模式
    在一台主机上上模拟多台主机,NameNode,DataNode等进程都启动在一台服务器上,是相互独立的进程
    5.3 完全分布式模式
    Hadoop的守护进程分别运行在多台服务器组成的集群上
©️2020 CSDN 皮肤主题: 书香水墨 设计师:CSDN官方博客 返回首页