yarn的十七步流程

回顾
etl -- 功能升级 -- 对原始数据先进行简单的分析和过滤
抽取-转换-加载
trank-.dat 166MB
ip/url/sessionId/county/province/city/time/pageId -- 44.8MB
paser2(log)
Map map = new HashMap<String,String>();
String[] fields = value.toString().spilt("");
map.put("ip",fields[0]);
...
return map;
读取新的日志文件
调用parse2方法

资源调度框架 yarn
yarn有两个节点（服务进程）
ResourceManager 主节点 只需要一个
NodeManager 从节点（根据集群规模可以有多个）

yarn17步流程图
①申请提交一个job任务（MR任务）
②返回一个jobId,以及提交job文件的路径
http://ip../tarDir
③上传到hdfs系统上  http://ip../tarDir
job.xml
job.splipt() 切片规则
④通知RM,文件上传完毕
⑤构建一个任务队列
⑥领取任务
⑦创建一个容器（APP Master 第二调度器）
⑧向RM注册并申请程序运行的资源
⑨领导任务并创建容器
⑩返回资源列表
11.启动map task(map任务)
12.处理完毕后返回结果
13.再次申请资源
14.领到任务并创建容器（reduce task）
15.启动reduce task
16.处理完毕后返回结果
17.整个MR程序运行完毕&#