![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
mapReduce
daladalabao
把借口减少一半,把围绕目标的行动增加一倍。付出就会有收获,或大或小,或迟或早
展开
-
MapReduce打包到集群上测试
原创 2021-03-24 18:25:41 · 102 阅读 · 0 评论 -
Yarn资源调度
▶\blacktriangleright▶ Yarn基本架构的4个组件及其作用ResourceManager 主要作用处理客户端请求监控nodeManager启动或监控ApplicationManager资源调度和分配nodeManager 主要作用管理单个节点上的资源处理ResourceManager的命令处理applicationManager的命令applicationManager(主要作用和执行的时候会启动)负责数据的切分为应用程序申请资源并分配任务原创 2021-03-18 18:49:48 · 108 阅读 · 0 评论 -
mapReduce案例之输出总流量在前10名的数据
FlowBean类import org.apache.hadoop.io.WritableComparable;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;class FlowBean implements WritableComparable<FlowBean> { private int sumFLow; private int upFLow;原创 2020-12-23 18:47:13 · 1881 阅读 · 1 评论 -
mapReduce的分组
▶\blacktriangleright▶分组shuffle的分组阶段GroupingCompaartor 他是一个自定义排序接口分组阶段要继承WritableComparator类,要写无参构造器,要重写compare方法import org.apache.hadoop.io.Text;import org.apache.hadoop.io.WritableComparable;import org.apache.hadoop.io.WritableComparator;public原创 2020-12-22 18:45:30 · 177 阅读 · 0 评论 -
经典案例:找共同好友
▶\blacktriangleright▶ 找共同好友思路:1.可以先将要分析的文件以 谁是谁的好友 形式输出,然后再分析这个文件最后以 谁和谁的共同好友是谁的 形式输出代码FriendsMapper类import java.io.IOException;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapp原创 2020-12-22 18:43:49 · 253 阅读 · 0 评论 -
mapReduce的组合
▶\blacktriangleright▶ 组合(合并)意义:对每一个MapTask输出进行局部汇总,减少网络传输量使用的前提是不影响最终的业务逻辑,而且Combiner输出的kv要和Reducer输入的kv对应编写一个类 要 继承Combinerimport org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Reducer;im原创 2020-12-22 18:41:30 · 172 阅读 · 0 评论 -
分区以及案例:wordCount按照ASCII码的奇偶数进行分区
▶\blacktriangleright▶ 分区代码/** *建一个Partition类继承Partitioner,重写getPartition方法 */import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Partitioner;public class FlowKeyPartition extends Partitioner<FlowBean, Text> { //写入多个文件原创 2020-12-21 19:52:15 · 179 阅读 · 0 评论 -
MapReduce的排序以及统计用户的流量案例
▶\blacktriangleright▶ 排序案例:统计用户的上行流量,下行流量和总流量代码Mapper类import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;import java.io.IOException;public class FlowMapper extends Mapper<.原创 2020-12-21 19:52:29 · 300 阅读 · 0 评论 -
wordCount案例在集群上测试
修改Driver.javaJob job = Job.getInstance(); //封装成Job对象 //指明main方法在Driver类中 job.setJarByClass(Driver.class); job.setMapOutputKeyClass(Text.class);//map输出的key的类型 job.setMapOutputValueClass(IntWritable.class); job.原创 2020-12-18 13:37:45 · 234 阅读 · 0 评论 -
MapReduce的执行流程和编程规范以及简单的WordCount案例
▶\blacktriangleright▶ MapReduce编程规范Mapper阶段(以WordCount为例)用户自定义的类要继承Mapper类输入的数据是KV对的形式(K:当前行数,V:当前行的内容)Mapper中的业务逻辑写在map()方法中,也就是说要重写map方法输出数据也是KV对的形式(K:每个单词 V: 1 )map方法对每个K V调用一次Reducer阶段8i9=-0o用户自定义的类要继承Reducer类输入类型诗句对应的时Mapper的输出数据类型,也是原创 2020-12-17 20:14:11 · 183 阅读 · 0 评论