bigdata_MapReduce总结

一丶知识回顾，hdfs复制文件详解，经典案例

• 文件IO流上传
• hdfs上传
• HDFS java API
• 配置问题
• 代码抽象，测试用例
• 并行与并发的区别和联系

二丶shell一键登录

• 编写脚本
• 编写登录规则，登录自动跳转到入口机
• 编写验证密码规则，自动输入密码

三丶MapReduce初识

• 分布式计算框架MapReduce

• 基本特点

四丶MapReduce运行流程

 

 

例：WordCount运行流程

• 各split先通过换行符分成键值对，key值为第一位数字的位数
• 再通过空格分隔
• 再通过hash算法分组
• 再sort排序
• 再局部combine聚合
• 多个组合并
• 再总的排序合并
• reduce

 五丶MapReduce Java API应用

WordCount代码实现