![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
番茄炒蛋213
stay hungry,stay foolish!
展开
-
Hadoop YARN
概述Yarn的设计目标就是允许我们的各种应用以共享、安全、多租户的形式使用整个集群。YARN主要有以下几个部分组成:Global ResourceManager,系统中资源分配的老大(Boss),主要由两部分:Scheduler and ApplicationManager。1.1 Scheduler:是ResourceManager专门进行资源管理的一个组件,负责分配NodeManag...转载 2019-07-18 18:23:02 · 99 阅读 · 0 评论 -
Hadoop(一)——hadoop概述及HA搭建
一、Hadoop是什么?Hadoop是分布式系统基础架构; 主要包括HDFS(分布式文件系统)、YARN(资源调度系统)、MapReduce(分布式计算框架)三部分构成。二、Hadoop能干什么?使用户可以在不了解分布式底层细节的情况下,开发分布式程序; 充分利用集群的威力,进行大规模数据的高速运算和存储。 三、Hadoop HA(zk、ssh已配置好)3.1机器规划...转载 2019-09-20 16:15:35 · 352 阅读 · 1 评论 -
Hadoop(二)——HDFS
一、 主从结构1.1主节点:NamenNode 接收用户操作请求 维护文件系统的目录结构 管理文件与block之间关系,block与datanode之间关系 1.2 从节点:DataNode 存储文件 文件被分成block存储在磁盘上 为保证数据安全,文件会有多个副本 1.3 Secondary NameNode:合并fsim...原创 2019-09-29 15:06:50 · 197 阅读 · 0 评论 -
Hadoop(三)——YARN
一、YARN是什么YARN是Hadoop的核心组件之一 主要负责资源的管理(将系统资源分配给集群中运行的各种运行程序)和作业的调度(调度在不同的节点上执行的任务) YARN的基本思想是将资源管理和作业调度分解为单独的daemon Yarn的设计目标就是允许我们的各种应用以共享、安全、多租户的形式使用整个集群二、YARN的架构YARN总体上是主/从结构,RM为master,NM为sl...原创 2019-09-29 15:33:02 · 193 阅读 · 0 评论 -
Hadoop(四)——MapReduce
1、输入分片(Input Split):在进行map计算之前,mapreduce会根据输入文件计算输入分片,每个输入分片针对一个map任务,输入分片存储的并非数据本身,而是一个分片长度和一个记录数据位置的数据。输入分片往往和hdfs的block关系密切,假如我们设定hdfs块的大小是64mb,如果我们输入三个文件,大小分别是3mb、65mb和127mb,那么mapreduce会把3mb文件作为...原创 2019-09-30 17:14:02 · 195 阅读 · 0 评论 -
Hadoop的压缩格式
1、 hadoop中的压缩格式压缩格式 文件扩展名 是否可分割 压 缩 比 由 高 到 低 压 缩 时 间 由 长 到 慢 BZIP2 .bz2 是 GZIP .gz 否 LZO ...转载 2020-04-13 08:46:16 · 319 阅读 · 0 评论