大数据开发教程——MapReduce原理及编程

什么是MapReduce?

MapReduce是一种编程模型,用于大规模数据集(大于1TB)的并行运算。概念"Map(映射)“和"Reduce(归约)”,是它们的主要思想,都是从函数式编程语言里借来的,还有从矢量编程语言里借来的特性。

MapReduce的来源

MapReduce最早是由Google公司研究提出的一种面向大规模数据处理的并行计算模型和方法。

Google公司设计MapReduce的初衷主要是为了解决其搜索引擎中大规模网页数据的并行化处理。Google公司发明了MapReduce之后首先用其重新改写了其搜索引擎中的Web文档索引处理系统。

但由于MapReduce可以普遍应用于很多大规模数据的计算问题,因此自发明MapReduce以后,Google公司内部进一步将其广泛应用于很多大规模数据处理问题。Google公司内有上万个各种不同的算法问题和程序都使用MapReduce进行处理。

MapReduce提供了以下的主要功能:

1)数据划分和计算任务调度:
2)数据/代码互定位:
3)系统优化:
4)出错检测和恢复:

MapReduce框架介绍

MR的数据处理流程

在这里插入图片描述

MR模型的适用场景

  • 搜索:网页爬取、倒排索引、PageRank。
  • Web访问日志分析:分析和挖掘用户在web上的访问、购物行为特征,实现个性化推荐;分析用户访问行为。
  • 文本统计分析:比如莫言小说的WordCount、词频TFIDF分析;学术论文、专利文献的引用分析和统计;维基百科数据分析等。
  • 海量数据挖掘:非结构化数据、时空数据、图像数据的挖掘。
  • 机器学习:监督学习、无监督学习、分类算法如决策树、SVM等。
  • 自然语言处理:基于大数据的训练和预测;基于语料库构建单词同现矩阵,频繁项集数据挖掘、重复文档检测等。
  • 广告推荐:用户点击(CTR)和购买行为(CVR)预测。

Mapreduce框架应用

  • Definition:

map: (K1,V1) → list (K2,V2)
reduce: (K2,list(V2)) → list (K3,V3)
map和reduce的输入输出都是key-value
我们写mapreduce程序需要指定:

map阶段的key,value类型
reduce阶段的key,value类型

  • Mapper (map)

Mapper<KEYIN, VALUEIN, KEYOUT, VALUEOUT> 类
KEYIN:map阶段的输入类型
VALUEIN:map阶段的输出类型
KEYOUT:reduce阶段的数据类型
VALUEOUT:reduce阶段的输出类型

  • Combiner (optional)

作用:本地数据优化(必须要做的)
可以选择的,配置就行了

  • Partitioner(数据分区)

map阶段处理完成,传输到reduce阶段的策略

相同的key的数据会被发送到同一个reduce
举例:统计所有湖北省的手机号有多少个

手机号如果是150,159开头的当作key进行分区

Default is the HashPartitioner that performs a modulo against the numOfPartitions to return the partition number (默认值是HashPartitioner,它对numOfPartitions执行取模以返回分区号)
源代码: return (key.hashCode() & Integer.MAX_VALUE) % numReduceTasks

  • Shuffle and Sort

指的是:数据由map到reduce的过程
数据经过网络传输和排序

  • Reducer (reduce)

Reducer<K2, V2, K3, V3>类

K2:map阶段输入类型
V2:map阶段输出类型
K3:最终输出到HDFS key的类型
V3:最终输出到HDFS value的类型

  • Job:启动mapreduce
//1.获取配置对象
Configuration conf = getConf();
//2.创建job对象
conf.set("fs.defaultFS","hdfs://hadoop5:8020");
Job job = Job.getInstance(conf, "WordCountMapReduce");
job.setJarByClass(this.getClass());
​
// 3.设置输入路径和格式,指定数据源,也就是hdfs上的目录
//input path
FileInputFormat.addInputPath(job,new Path(args[0]) );
//input format
job.setInputFormatClass(TextInputFormat.class);
​
// 4.设置输出路径和格式,数据输出,最终结果保存在哪里
// output path and output format
FileOutputFormat.setOutputPath(job,new Path(args[1]));
job.setOutputFormatClass(TextOutputFormat.class);
​
//5 设置map类和reduce类
job.setMapperClass(WordCountMapper.class);
// map阶段输出key和value的类型
job.setMapOutputKeyClass(Text.class);
job.setMapOutputValueClass(IntWritable.class);
​
//6. 设置Combiner,Map阶段完成后的优化策略,可以让数据本地聚合
job.setCombinerClass(WCReducer.class);
​
// 7. reduce类
job.setReducerClass(WordCountReducer.class);
// reduce阶段输出key和value的类型
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);
​
//8.提交程序
job.waitForCompletion(true) ? 0 : 1;

视频课程戳⬇⬇⬇
领取更多大数据开发学习教程

  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值