一丶知识回顾,hdfs复制文件详解,经典案例
- 文件IO流上传
- hdfs上传
- HDFS java API
- 配置问题
- 代码抽象,测试用例
- 并行与并发的区别和联系
二丶shell一键登录
- 编写脚本
- 编写登录规则,登录自动跳转到入口机
- 编写验证密码规则,自动输入密码
三丶MapReduce初识
- 分布式计算框架MapReduce
-
基本特点
四丶MapReduce运行流程
例:WordCount运行流程
- 各split先通过换行符分成键值对,key值为第一位数字的位数
- 再通过空格分隔
- 再通过hash算法分组
- 再sort排序
- 再局部combine聚合
- 多个组合并
- 再总的排序合并
- reduce
五丶MapReduce Java API应用
WordCount代码实现