Mapreduce增强
自定义groupingCompatator实现分组求topN
订单 | 产品 | 价格 |
---|---|---|
Order_0000001 | Pdt_01 | 222.8 |
Order_0000001 | Pdt_05 | 25.8 |
Order_0000002 | Pdt_03 | 522.8 |
Order_0000002 | Pdt_04 | 122.4 |
Order_0000002 | Pdt_05 | 722.4 |
Order_0000003 | Pdt_01 | 222.8 |
求取每给订单当中,金额最大的那个商品的价格是多少
输出:分组求top1
Order_0000001 Pdt_01 222.8
Order_0000002 Pdt_05 722.4
Order_0000003 Pdt_01 222.8
过MR实现分组求top1
第一个问题:求金额的最大值,要排序,按照金额来进行排序
可以将金额做成k2
第二个问题:如何区分不同的订单?
通过订单id来区分我们不同的订单,相同的订单,发送到同一个reduce里面去,形成一个集合
需要将订单号作为k2
因此,我们需要
- 将订单号orderId和金额price同时作为k2,封装到一个javaBean中;实现比较和序列化:extends WritableComparable
- 重写分区规则,按照订单号进行分区;
- 重写排序规则,按照金额进行排序。
- 重写分组策略:分组合并相同的key,分组需要仅以javaBean中的订单号作为key,将value数据放入同一个集合里面去。
定义类:WritableComparator
程序实现
OrderBean
如果是求最大值,则将compareTo方法的排序return值改为**-i**,即可实现。
如果是求最小值,compareTo方法的排序return值则为i
package demo6;
import org.apache.hadoop.io.WritableComparable;
import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;
public class OrderBean implements WritableComparable<OrderBean>{
private String orderId;
private Double price;
@Override
public int compareTo(OrderBean o) {
//需要先比较订单Id是否相同,如果订单ID相同再比较价格
int i = this.orderId.compareTo(o.orderId);
if (i == 0) {
//按照价格进行排序
i = this.price.compareTo(o.price);
return i;
}
return i;
}
//序列化
@Override
public void write(DataOutput dataOutput) throws IOException {
dataOutput.writeUTF(orderId);
dataOutput.writeDouble(price);
}
//反序列化
@Override
public void readFields(DataInput dataInput) throws IOException {
this.orderId = dataInput.readUTF();
this.price = dataInput.readDouble();
}
public String getOrderId() {
return orderId;
}
public void setOrderId(String orderId) {
this.orderId = orderId;
}
public Double getPrice() {
return price;
}
public void setPrice(Double price) {
this.price = price;
}
@Override
public String toString() {
return orderId+"\t"+price;
}
}
Mapper
package demo6;
import org.apache.hadoop.io.DoubleWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
import java.io.IOException;
public class GroupMapper extends Mapper<LongWritable,Text, OrderBean, DoubleWritable> {
@Override
protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
String[] split = value.toString().split("\t");
OrderBean orderBean = new OrderBean();
orderBean.setOrderId(split[0]);
orderBean.setPrice(Double.valueOf(split[2]));
DoubleWritable doubleWritable = new DoubleWritable();
context.write(orderBean,doubleWritable);
}
}
Partition
package demo6;
import org.apache.hadoop.io.DoubleWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.mapreduce.Partitioner;
public class GroupPartition extends Partitioner<OrderBean, DoubleWritable> {
//仿照HashPartitioner写
@Override
public int getPartition(OrderBean orderBean, DoubleWritable doubleWritable, int i) {
/**
*
* @param orderBean : k2
* @param doubleWritable : v2
* @param i : numPartitions
*/
return (orderBean.getOrderId().hashCode() & 2147483647) % i;
}
}
Comparator
package demo6;
import org.apache.hadoop.io.WritableComparable;
import org.apache.hadoop.io.WritableComparator;
public class GroupComparator extends WritableComparator {
//重写默认的无参构造器,定义我们反射出来的对象时OrderBean这个类
public GroupComparator(){
super(OrderBean.class,true);
}
@Override
public int compare(WritableComparable a, WritableComparable b) {
OrderBean first = (OrderBean) a;
OrderBean second = (OrderBean) b;
return first.getOrderId().compareTo(second.getOrderId());
}
}
Reducer
package demo6;
import org.apache.hadoop.io.DoubleWritable;
import org.apache.hadoop.mapreduce.Reducer;
import java.io.IOException;
public class GroupReducer extends Reducer<OrderBean, DoubleWritable, OrderBean, DoubleWritable> {
@Override
protected void reduce(OrderBean key, Iterable<DoubleWritable> values, Context context) throws IOException, InterruptedException {
int i = 0;
for (DoubleWritable value : values) {
i++;
if (i <= 2) {
context.write(key, value);
}else {
break;
}
}
}
}
Main
package demo6;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.DoubleWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;
public class GroupMain extends Configured implements Tool {
@Override
public int run(String[] strings) throws Exception {
Job job = Job.getInstance(super.getConf(), "group");
job.setInputFormatClass(TextInputFormat.class);
TextInputFormat.addInputPath(job,new Path("file:///C:\\Users\\Yichun\\Desktop\\hadoop\\hadoop_05\\自定义groupingComparator\\input"));
job.setMapperClass(GroupMapper.class);
job.setMapOutputKeyClass(OrderBean.class);
job.setMapOutputValueClass(DoubleWritable.class);
job.setPartitionerClass(GroupPartition.class);
//自定义分组类
job.setGroupingComparatorClass(GroupComparator.class);
job.setReducerClass(GroupReducer.class);
job.setOutputKeyClass(OrderBean.class);
job.setOutputValueClass(DoubleWritable.class);
job.setOutputFormatClass(TextOutputFormat.class);
TextOutputFormat.setOutputPath(job,new Path("file:///C:\\Users\\Yichun\\Desktop\\hadoop\\hadoop_05\\自定义groupingComparator\\outputN"));
boolean b = job.waitForCompletion(true);
return b?0:1;
}
public static void main(String[] args) throws Exception {
int run = ToolRunner.run(new Configuration(), new GroupMain(), args);
System.exit(run);
}
}
分区与分组的关系
分区:主要是决定了我们的数据去往哪一个reduce
分组:决定了哪些数据分到一个组里面去,形成一个集合,一起调用一次reduce逻辑
如果不经过分组,就会是1357135这样的顺序一次次调用。经过分组就可以111调用一次
mapreduce参数优化
资源相关参数
在mapred-site.xml配置文件:
- mapreduce.map.memory.mb: 一个Map Task可使用的资源上限(单位:MB),默认为1024。如果Map Task实际使用的资源量超过该值,则会被强制杀死。
- mapreduce.reduce.memory.mb: 一个Reduce Task可使用的资源上限(单位:MB),默认为1024。如果Reduce Task实际使用的资源量超过该值,则会被强制杀死。
- mapred.child.java.opts 配置每个map或者reduce使用的内存的大小,默认是200M
- mapreduce.map.cpu.vcores: 每个Map task可使用的最多cpu core数目, 默认值: 1
- mapreduce.reduce.cpu.vcores: 每个Reduce task可使用的最多cpu core数目, 默认值: 1
虚拟内核:根据我们CPU的型号,CPU的类型,虚拟出来的一些核数
i7 8代 的CPU 1个实体核可以虚拟出来8个虚拟内核
//shuffle性能优化的关键参数,应在yarn启动之前就配置好
- mapreduce.task.io.sort.mb 100 //shuffle的环形缓冲区大小,默认100m
- mapreduce.map.sort.spill.percent 0.8 //环形缓冲区溢出的阈值,默认80%
在yarn-site.xml配置文件
- yarn.scheduler.minimum-allocation-mb 1024 给应用程序container分配的最小内存
- yarn.scheduler.maximum-allocation-mb 8192 给应用程序container分配的最大内存
- yarn.scheduler.minimum-allocation-vcores 1 container最小的虚拟内核的个数
- yarn.scheduler.maximum-allocation-vcores 32 container最大的虚拟内核的个数
- yarn.nodemanager.resource.memory-mb 8192 每个nodemanager给多少内存 虚拟的
容错相关参数
- mapreduce.map.maxattempts: 每个Map Task最大重试次数,一旦重试参数超过该值,则认为Map Task运行失败,默认值:4。
- mapreduce.reduce.maxattempts: 每个Reduce Task最大重试次数,一旦重试参数超过该值,则认为Map Task运行失败,默认值:4。
- mapreduce.job.maxtaskfailures.per.tracker: 当失败的Map Task失败比例超过该值为,整个作业则失败,默认值为0. 如果你的应用程序允许丢弃部分输入数据,则该该值设为一个大于0的值,比如5,表示如果有低于5%的Map Task失败(如果一个Map Task重试次数超过mapreduce.map.maxattempts,则认为这个Map Task失败,其对应的输入数据将不会产生任何结果),整个作业仍认为成功。
- mapreduce.task.timeout: Task超时时间,默认值为600000毫秒,经常需要设置的一个参数,该参数表达的意思为:如果一个task在一定时间内没有任何进入,即不会读取新的数据,也没有输出数据,则认为该task处于block状态,可能是卡住了,也许永远会卡主,为了防止因为用户程序永远block住不退出,则强制设置了一个该超时时间(单位毫秒)。如果你的程序对每条输入数据的处理时间过长(比如会访问数据库,通过网络拉取数据等),建议将该参数调大,该参数过小常出现的错误提示是“AttemptID:attempt_14267829456721_123456_m_000224_0 Timed out after 300 secsContainer killed by the ApplicationMaster.”。
本地运行mapreduce 作业
设置以下几个参数:
file:///
mapreduce.framework.name=local
mapreduce.jobtracker.address=local
fs.defaultFS=local
效率和稳定性相关参数
- mapreduce.map.speculative: 是否为Map Task打开推测执行机制,默认为true,如果为true,如果Map执行时间比较长,那么集群就会推测这个Map已经卡住了,会重新启动同样的Map进行并行的执行,哪个先执行完了,就采取哪个的结果来作为最终结果,一般直接关闭推测执行
- mapreduce.reduce.speculative: 跟map类型。一般直接关闭推测执行
- mapreduce.input.fileinputformat.split.minsize: FileInputFormat做切片时的最小切片大小,默认为0
(切片的默认大小就等于blocksize,即 134217728)
如果一个任务长时间不能完成执行,很有可能是发生了数据倾斜。
数据倾斜:大量数据都涌到一个reduce task里面,造成其中一个reduce task迟迟不能完成执行,例如,reduce task 走到80%的完成度就走不动了。
yarn资源调度
yarn是我们hadoop2.x当中引进的一个新的模块,主要用于管理我们集群当中的资源
比如说:内存,cpu
yarn还管理运行的一些任务信息等。
yarn调度的两个层级
一级管理调度:
管理计算机的资源
运行的job任务的生命周
二级管理调度:
任务的计算模型
多样化的计算模型 storm spark
yarn集群的监控管理界面:
http://node01:8088/cluster
jobHistoryServer查看界面:
http://node01:19888/jobhistory
yarn主要组件和作用
- resourceManager:主节点,主要用于接收用户的请求,分配资源
- nodeManager:从节点,主要用于处理任务的计算
- ApplicationMaster:每提交一个任务,启动一个appmaster
ApplicationMaster主要职责:
- 申请资源
- 分配资源(分配container)
- 监控任务执行的进度状况
- 回收资源
- 与resourceManager通信,报告任务的执行状况
- 自杀
- Container:资源分配的单位,所有的资源都是以container的形式来进行划分的,便于资源的分配和回收
- jobHistory:历史完成的任务的日志信息
- TimeLineServer: 2.4版本以后出来的新特性,查看正在执行的任务的信息
yarn当中的调度器
调度器主要解决的是任务先后提交,如何保证任务最快执行的一种策略,研究的是任务之间如何一起执行的问题。
hadoop当中的调度器主要有三种
-
fifo 队列调度器,first in first out 没人用
第一个任务来了,先执行,第二个任务来了,等着
如果一个很大的计算任务先来,需要执行两个小时,再来一个小任务,需要执行两分钟 -
capacity scheduler 容量调度器 apache的hadoop版本默认使用的
将我们集群的资源,划分成好几个队列
30% 40% 30%
3 4 3
任务提交的时候,可以选择不同的队列来进行提交
根据提交的任务需要的资源大小不同,可以将我们的任务,划分到不同的队列下面去 -
fairScheduler 公平调度器 CDH版本的hadoop默认的调度规则
如果没有任务提交,第一个任务过来,将集群当中的所有的资源全部给第一个任务
第二个任务来了,将第一个任务的资源划分一点出来给第二个任务,保证第二个任务也可以窒息感
保证每一个任务都可以公平的一起执行
一般调度器不会去更改
使用哪种调度器取决于yarn-site.xml当中的
yarn.resourcemanager.scheduler.class 这个属性的配置
yarn常用参数设置
container分配最小内存
yarn.scheduler.minimum-allocation-mb 1024 给应用程序container分配的最小内存
container分配最大内存
yarn.scheduler.maximum-allocation-mb 8192 给应用程序container分配的最大内存
每个container的最小虚拟内核个数
yarn.scheduler.minimum-allocation-vcores 1 每个container默认给分配的最小的虚拟内核个数
每个container的最大虚拟内核个数
yarn.scheduler.maximum-allocation-vcores 32 每个container可以分配的最大的虚拟内核的个数
nodeManager可以分配的内存大小
yarn.nodemanager.resource.memory-mb 8192 nodemanager可以分配的最大内存大小,默认8192Mb
在**yarn-site.xml**中修改来改变默认值:
**定义每台机器的内存使用大小**
yarn.nodemanager.resource.memory-mb 8192
**定义每台机器的虚拟内核使用大小**
yarn.nodemanager.resource.cpu-vcores 8
**定义交换区空间可以使用的大小**(交换区空间就是讲一块硬盘拿出来做内存使用)
这里指定的是nodemanager的n内存的2.1倍
yarn.nodemanager.vmem-pmem-ratio 2.1