- 博客(3)
- 收藏
- 关注
RSS订阅
原创 JavaMR,MapReduce实现俩表影评信息的MapJoin综合案例
1，需求文件一：电影信息源文件电影ID 电影名字 电影类型3884行相同的类型数据，数据格式相同2，需求文件二：用户评分信息源文件用户ID 电影ID 评分 评分时间戳1000211行相同类型数据，数据格式相同3，需求及分析需求分析：1 ： 俩表关联数据为电影ID，故实现之法门，无外乎于此2 ： 分组可做可不做，因无R。此处会写，不会调用3 ： 年份采...
2019-12-15 10:59:13
1002
4
原创 浅谈Yarn的资源调度
1. 初代MR的不足(1.JobTracker要承担的任务过大，维护Job状态的同时又要维护job的task状态，造成过多资源消耗在Tarcker。2.在TaskTracker端会消耗大量的资源用于调度整合，容易出现OOM。3.把资源强制划分为M Slot / R Slot ）1、扩展性差 2、可靠性低 3、资源利用率低 4、不支持多种计算框架2. 首先我们要知道Ya...
2019-12-18 15:06:28
253
原创 谈谈只有Map，单个Map的WordCount
本人小白一名，学习MapReduct(WordCount)休息之余发现Reduct会接收与Map的key和value(keyout和valueout)相同，便思考可否在此中省略Reduce在完成wordcount(此博客边学边记第一章)1）原文件为图1.12）在移除Reduce部分后发现Map的KeyOut与ValueOut依旧可以写入文件，实践表示我的想法正确。但是依旧没有完成Reduce...
2019-11-29 21:56:34
312
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人