note
巅峰Sky
这个作者很懒,什么都没留下…
展开
-
Hadoop学习笔记之YARN
YARN产生背景: 单点故障,且节点压力大不易扩展 YARN作为资源调度框架,可以提高资源利用率和降低运维成本,移动运算要比移动数据划算的多 ![yarn的架构](https://img-blog.csdn.net/20180814112817919?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjk1NT...原创 2018-08-14 12:31:15 · 375 阅读 · 0 评论 -
Hadoop学习笔记之HDFS
HDFS 架构: 1个或n个namenode与n个datanode HDFS的设计目标: 非常巨大的分布文件系统 运行在普通廉价的硬件上 易扩展,为用户提供性能不错的文件存储服务 HDFS将文件拆分成等大小的block块,将其存入不同的datanode上 NameNode的职责: 响应客户端请求 负责元数据(文件的名称、副本系数、b...原创 2018-08-13 14:39:06 · 115 阅读 · 0 评论 -
Hadoop学习笔记之MapReduce
MapReduce: 海量离线处理,易开发,易运行,将作业拆分成Map和Reduce阶段。 MapReduce的重要概念: 1、Split:交由MapReduce处理的数据块,最小的计算单元 block 是HDFS中数据的存储单元,默认为128M 2、InputFormat:将输入数据进行分片,并且得到一个RecordReader.将数据分片从HDFS上读出 ...原创 2018-08-16 18:28:20 · 109 阅读 · 0 评论