Hadoop
文章平均质量分 96
脑图思考
这个作者很懒,什么都没留下…
展开
-
【Hadoop】HDFS分布式文件系统
HDFS-分布式文件系统基本知识简介HDFS相关概念块(Block)名称节点(NameNode)数据节点(DataNode)第二名称节点(Secondary NameNode)HDFS体系结构HDFS存储原理基本知识简介1. 分布式文件系统是Hadoop两大核心组成部分之一,提供了在廉价服务器集群中进行大规模分布式文件存储的能力。2. HDFS具有很好的容错能力,并且兼容廉价的硬件设备,因...原创 2018-10-25 23:06:23 · 2060 阅读 · 0 评论 -
【Hadoop】MapReduce并行计算框架
MapReduce并行计算框架基本知识前言核心概念计算模型系统架构作业配置计算流程与机制作业提交和初始化MapperReducer结构图示输入/输出格式(常用)核心问题Map和Reduce数量作业配置作业调度调度过程 :有用的MapReduce特性基本知识前言MapReduce计算框架是Google提出的一种并行计算框架,是Google云计算模型MapReduce的java开源实现,用于...原创 2018-10-29 23:37:52 · 4198 阅读 · 1 评论 -
【Hadoop】yarn的资源调度
yarn的资源调度yarn的资源调度前言三种主要调度器调度策略对比yarn的资源调度前言Hadoop作为分布式计算平台,从集群计算的角度分析,Hadoop可以将底层的计算资源整合后统一分配到集群中的计算节点,从而达到分布式和并行计算的目的,最终完成任务的高效执行。这一核心功能就是作业调度要做的事情。在调度机制中涉及三个核心问题:1.计算资源的组织。2.用户作业的选择策略。3.任务的...原创 2018-11-01 20:32:28 · 195 阅读 · 0 评论 -
【Hadoop】MapReduce深度分析
MapReduce深度分析MapReduce总结构分析数据流向分析处理过程分析各阶段分析MapTaskRead阶段Map阶段Collector和Partitioner阶段Spill阶段Merge阶段ReduceTaskshuffle阶段Merge阶段Sort阶段Reduce阶段MapReduce总结构分析数据流向分析1)从HDFS到Mpper节点输入文件。2)Mapper输出到内存...原创 2018-11-01 21:52:08 · 593 阅读 · 0 评论