大数据开发
文章平均质量分 70
two_star
Email:xingxin.hsing@gmail.com
Blog:https://twostarxx.github.io/
展开
-
MapReduce框架和操作流程
目录一、MapReduce概念理解1. Why MapReduce?2. MapReduce的思想:分而治之(Divide and Conquer)3. MapReduce的特性二、MapReduce的核心组件三、Map/Reduce框架四、MapReduce具体操作流程(重点!)1. Map/Reduce的执行流程(1.0版本)2. Map/Reduce的执行...原创 2018-10-12 00:38:35 · 495 阅读 · 0 评论 -
Hadoop和HA
目录1、HDFS概述2、HDFS基本结构3、Block的副本放置策略4、主要组件及其功能5、数据损坏(corruption)处理6、HDFS网络拓扑结构7、实例分析Hadoop的四大组件:HDFS:分布式存储系统 MapReduce:分布式计算系统 YARN:Hadoop的资源调度系统 Common:以上三大组件的底层支撑组件,主要提供基础工具包和RPC工...原创 2018-09-26 17:43:55 · 811 阅读 · 0 评论