大数据开发
文章平均质量分 70
two_star
Email:xingxin.hsing@gmail.com
Blog:https://twostarxx.github.io/
展开
-
MapReduce框架和操作流程
目录 一、MapReduce概念理解 1. Why MapReduce? 2. MapReduce的思想:分而治之(Divide and Conquer) 3. MapReduce的特性 二、MapReduce的核心组件 三、Map/Reduce框架 四、MapReduce具体操作流程(重点!) 1. Map/Reduce的执行流程(1.0版本) 2. Map/Reduce的执行...原创 2018-10-12 00:38:35 · 491 阅读 · 0 评论 -
Hadoop和HA
目录 1、HDFS概述 2、HDFS基本结构 3、Block的副本放置策略 4、主要组件及其功能 5、数据损坏(corruption)处理 6、HDFS网络拓扑结构 7、实例分析 Hadoop的四大组件: HDFS:分布式存储系统 MapReduce:分布式计算系统 YARN:Hadoop的资源调度系统 Common:以上三大组件的底层支撑组件,主要提供基础工具包和RPC工...原创 2018-09-26 17:43:55 · 802 阅读 · 0 评论