Hadoop
熊猫姐姐90
和花小可爱
展开
-
Hadoop~~MapReduce
MapReduce将计算过程分为两个阶段:Map和Reduce Map阶段并行处理输入的数据 Reduce阶段对Map结果进行汇合。原创 2021-09-26 16:53:40 · 43 阅读 · 0 评论 -
Hadoop~~Yarn
Yet Another Resource Negotiator 简称 YARN 是Hadoop的资源管理器。 <1> ResourceManager(RM):整个集群资源(内存,CPU等)的老大 <2>NodeManager(NM):单个节点服务器资源老大。 <3>ApplicationMaster(AM):单个任务运行的老大。 <4>Container:容器,相当于一个独立的服务器,里面封装了任务运行所需要的资源(比如内存,CPU,网络,磁盘等原创 2021-09-26 16:21:18 · 54 阅读 · 0 评论 -
Hadoop~~HDFS
Hadoop Distributed File System,简称HDFS,分布式文件系统 HDFS架构概述 NameNode(nn):存储文件的元数据,如文件名,文件目录结构,文件属性(生成时间,副本数,文件权限),以及每个文件的块列表和块所在的DataNode等。 DataNode(dn) :在本地文件系统存储文件块数据,以及块数据的校验和。 Secondy NameNode(2nn):每隔一段时间对NameNode元数据备份。 ...原创 2021-09-26 16:02:45 · 48 阅读 · 0 评论 -
hadoop
1)Hadoop是一个由Apache基金会所开发的分布式系统基础架构。主要解决海量数据的存储和海量数据的分析计算问题。 Hadoop的优势: 1、高可靠性:Hadoop底层维护多个数据副本,所以即使某个计算元素或存储出现故障,也不会导致数据丢失。 2、高扩展性:在集群间分配任务数据,可方便扩展数以千计的节点 ...原创 2021-09-26 15:24:10 · 75 阅读 · 0 评论