浅谈MapReduce

最新推荐文章于 2021-02-25 20:47:40 发布
最新推荐文章于 2021-02-25 20:47:40 发布
阅读量158 收藏
点赞数
分类专栏： Hadoop2021 文章标签： hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Wuyikkk/article/details/106461379
版权

一、MR的编写

1. MR的编程规范

MR的编程只需要将自定义的组件和系统默认组件进行组合，组合之后运行即可

编程步骤：

  1. Map阶段的核心处理逻辑需要编写在Mapper中
  2. Reduce阶段的核心处理逻辑需要编写在Reducer中
  3. 将编写的Mapper和Reducer进行组合，组合成一个Job
  4. 对Job进行设置，设置后运行

2. Mapper

Mapper是MapTask中负责Map阶段核心运算逻辑的类

  • 继承Mapper<KEYIN,VALUEIN,KEYOUT,VALUEOUT>

  • KEYIN,VALUEIN 取决于InputFormat中RecordReader的设置
    KEYOUT,VALUEOUT由自己定义

  • Mapper的运行流程
    由MapTask调用Mapper.run()

      	run(){
  		setUp();
  		while(context.nextKeyValue()) //循环调用RR读取下一组输入的key-value
  		{
  			map(key,value,context);
  		}
  		cleanUp();
  	}

  • 在Mapper的map()中编写核心处理逻辑

3. Reducer

Reducer是ReduceTask中负责Reduce阶段核心运算逻辑的类

  • 继承Reducer<KEYIN,VALUEIN,KEYOUT,VALUEOUT>

  • KEYIN,VALUEIN 取决于Mapper的输出
    KEYOUT,VALUEOUT由自己定义

  • Reducer的运行流程
    由MapTask调用Reducer.run()

    run(){
  	setUp();
  	while(context.nextKey()) // 使用迭代器不断迭代key相同的数据
  	{
  		reduce(key,value,context);
  	}
  	cleanUp();
  }

  • 在Reducer的reduce()中编写核心处理逻辑

4. Job

  1. 创建Job

     Job job=Job.getInstance(Configuration conf);

  2. 设置Job

     Job.setName("job名");  //设置名称
 Job.setJar("jar名"); |  Job.setJarByClass(类名)  // 设置Job所在的Jar包，只有在YARN上运行时才需要设置

  3. 配置Job

     设置输入和输出格式，如果不设置使用默认
 设置Mapper,Reducer
 设置Mapper和Reducer的输出类型 // 主要为了方便根据类型获取对应的序列化器
 设置输入和输出目录

  4. 运行Job

     Job.waitforCompletion(true); //true为打印详细信息

二、Read阶段的流程

根据InputFormat

  • ①切片, getSplit()
  • ②使用输入格式的RR读取数据, createRecordReader()

三、Read阶段的几种InputFormat

1.默认的TextInputFormat

  1. 场景： 普通的文本格式数据来源

  2. 切片： 采用默认的切片策略，以文件为单位，先判断文件是否可切，如果可切，循环以片大小为单位切片，如果不可切，整个文件作为1片

  3. RR ： LineRecordReader（将一行封装为一个key-value）

     LongWritable	key: 行的偏移量
 Text  value:  行的内容

2. NLineInputFormat

  1. 场景： 适合一行的内容特别多，在Map阶段map()处理的逻辑非常复杂的情况，此时可以根据行数自定义切片的大小

  2. 切片： 可以设置以文件为单位，每N行作为一个切片！

  3. RR ： LineRecordReader（将一行封装为一个key-value）

    LongWritable	key: 行的偏移量
Text  value:  行的内容

3. KeyValueTextInputFormat

  1. 场景： 一行的内容的格式为 key-value，方便地将key、value拆分封装

  2. 切片： 采用默认的切片策略，以文件为单位，先判断文件是否可切，如果可切，循环以片大小为单位切片，如果不可切，整个文件作为1片。

  3. RR ： KeyValueRecordReader（将一行封装为一个key-value）

     Text  key:  行的分隔符之前的部分内容
 Text  value:   行的分隔符之后的部分内容

4. CombineTextInputFormat

  1. 场景： 输入目录中小文件过多，可以将多个小文件设置到一个切片中！

  2. 切片： ①根据maxSize对每个文件进行逻辑切片，切分为若干part
    ②将多个part组合，知道超过maxSize，这些part作为一个切片

  3. RR ： LineRecordReader（将一行封装为一个key-value）

     LongWritable	key: 行的偏移量
 Text  value:  行的内容

5. 自定义InputFormat

  1. 举例
    将输入目录中的多个文件的内容读取到一个SequnceFile中

  2. SequnceFile
    SequnceFile是Hadoop特有的文件格式

     优点： ①适合key-value类型数据的存储
 	   ②比普通的文件格式节省空间

  3. 默认的输出格式是TextOutPutFormat（文本格式的输出格式）
    将输出格式设置为SequnceFileOutPutFormat

  4. 将输入目录中的文件读取为key-value(bytes)形式
    将文件的内容读取封装为bytes类型，写出
    将文件的文件名作为key

  5. 需要考虑问题：是否需要Reduce?
    ①是否需要合并
    什么时候不需要合并?
    仅有一个MapTask，且MapTask不存在相同key的数据时，需要合并
    有多个MapTask，最终期望生成一个结果文件，需要汇总，需要有Reduce
    ②是否将结果进行排序
    没有Reduce: MapTask----map
    有Reduce: MapTask----map-----sort—ReduceTask----copy—sort----reduce

  6. 自定义InputFormat

    ① 继承FileInputFormat
    ② 重写isSplitable()，返回false，让文件不可切，整个文件作为1片
    ③ 自己提供RR
    在RR中，nextKeyValue()是最重要的方法，返回当前读取到的key-value，如果读到返回true，否则返回false，返回true，调用Mapper的map()来处理

四、切片和块

  • 切片： 对文件进行逻辑切分，只有在运行MR任务时，才会对文件切分，切分时，切片的大小不同，每个文件切分的结果也不同
  • 块： 文件在上传到HDFS时，在HDFS上存储的最小单位，物理存储
  • 关系： MapTask在读取切片的内容时，需要根据切片的metainfo，获取到当前切片属于文件的哪部分，再根据此信息去寻找对应的块，读取数据

注意：默认切片大小等于块大小，主要为了减少在运行MR时，大量的跨机器读取切片内容带来额外的网络IO。

根据默认的策略策略，可以调整切片的大小：

  1. 调整切片大小 大于 块大小： 调整minSize
  2. 调整切片大小 小于 块大小： 调整maxSize

五、Job提交流程

1. 提交之前的准备阶段

a) 检查输出目录是否合法
b) 为Job设置很多属性(用户，ip,主机名..)
c) 使用InputFormat对输入目录中的文件进行切片设置Job运行的mapTask的数量为切片的数量
d) 在Job的作业目录生成Job执行的关键文件
	job.split (job的切片对象)
	job.splitmetainfo(job切片的属性信息)
	job.xml(job所有的配置)
e) 正式提交Job

2. 本地模式

a) 在提交Job后，创建LocalJobRunner.Job.Job对象，启动线程
b) 在LocalJobRunner.Job.Job启动的线程中，使用线程池，用多线程的形式模拟MapTask和ReduceTask的多进程运行
c) 执行Map,调用线程池，根据Map的切片信息，创建若干MapTaskRunable线程，在线程池上运行多个线程
	流程大致如下：
	MapTaskRunable------>MapTask--------->Mapper--------->Mapper.run()------->Mapper.map()	
d) Map阶段运行完后，执行Reduce,调用线程池，根据Job设置的ReduceTask的数量，创建若干ReduceTaskRunable线程，在线程池上运行多个线程
	流程大致如下：
	ReduceTaskRunable------->ReduceTask------>Reducer----->Reducer.run()------>Reducer.reduce()

3. 在YARN上运行

a) 在提交Job后，创建MRAppMaster进程
b) 由MRAppMaster，和RM申请，申请启动多个MapTask、多个ReduceTask
	流程大致如下：
	Container------>MapTask--------->Mapper--------->Mapper.run()------->Mapper.map()
	Container------>ReduceTask------>Reducer-------->Reducer.run()------>Reducer.reduce()

4. Job提交之后MR的核心阶段划分

如果当前Job没有Reduce阶段，MapTask只有map，没有sort
如果当前Job有Reduce阶段，可以将Map-Reduce再详细分为Map---Shuffle---Reduce阶段

Shuffle的含义为洗牌，将Map阶段写出的数据，进行洗牌(将数据整理的有序，方便Reducer进行reduce)
Shuffle阶段横跨MapTask和RedcueTask，在MapTask端也有Shuffle，在RedcueTask也有Shuffle
具体Shuffle阶段指MapTask的map之后到RedcuceTask的reduce之前

六、MapTask流程

1. 定义

MapTask分为：map和sort
map：Mapper.map()中将输出的key-value写出之前
sort:：Mapper.map()中将输出的key-value写出之后

2. MapTask的shuffle流程

  1. 当在map()将输出的key-value写出后，记录是会被Partitioner计算一个分区号

  2. 计算后，记录被收集到一个缓冲区(MapOutPutBuffer)

  3. 收集线程负责向缓冲区收集数据，缓冲区初始值为100M，当使用到80%阈值，唤醒溢写线程，溢写线程会将缓冲区已经收集的数据溢写到磁盘

     此时注意：如果溢写线程慢收集线程块时，收集线程会因为缓冲区内所有数据还没被溢写线程所溢写而导致无法向缓冲区存入数据，
 此时收集线程会被阻塞，直到缓冲区中的所有数据都被溢写出之后被唤醒，继续收集。

  4. 在溢写前，会对缓冲区中的数据进行排序(快速排序)，在排序时，只通过比较key进行排序

  5. 排序后，按照分区，依次将数据写入到磁盘的临时文件的若干分区中

  6. 每次溢写都会生成一个临时文件，当所有的数据都溢写完成之后，会将所有的临时文件片段合并为一个总的最终的文件

     最后一批数据不满足溢写条件会执行一次flush

  7. 在合并时，将所有的临时文件的相同分区的数据，进行合并，合并后再对所有的数据进行排序(归并排序)

  8. 最终生成一个结果文件，这个文件分为若干分区，每个分区的数据已经按照key进行了排序，等待reduceTask的shuffle线程来拷贝数据

七、分区

1.定义

分区是在MapTask中通过Partitioner来计算分区号

2.Partitioner的初始化

  1. 计算总的分区数partitions，取决于用户设置的reduceTask的数量
  2. partitions>1，默认尝试获取用户设置Partitioner，如果用户没有定义，那么会使用HashPartitioner，HashPartitioner根据key的hashcode进行计算，相同的key以及hash值相同的key会分到一个区
  3. partitions<=1，则默认初始化一个Partitioner，这个Partitioner计算的所有的区号都为0

3.注意

通常在Job的设置中，希望将数据分为几个区，就设置reduceTask的数量为对应的数量，partitions=设置的reduceTask的数量。

八、排序

1.定义

排序是在shuffle阶段中自动进行的，在MapTask端发生两次排序中，用户唯一可以控制的是提供一个key的比较器

2.设置key的比较器

  1. 用户可以自定义key的比较器，自定义的比较器必须是一个RawComparator类型的类，重点是实现compareTo()方法
  2. 用户通过key，让key实现WritableComparable接口，系统自动提供一个比较器，重点是实现compareTo()方法

3.排序的分类

  1. 全排序： 对所有的数据进行排序，指生成一个结果文件，这个结果文件整体有序
  2. 部分排序： 最终生成N个结果文件，每个文件内部整体有序
  3. 二次排序： 在对key进行比较时，比较的条件为多个
  4. 辅助排序： 在进入reduce阶段时，通过比较key是否相同，将相同的key分为1组

九、分组

1.定义

分组通过分组比较器，对进入reduce的key进行对比，key相同的分为一组，一次性进入Reducer，被调用reduce方法

2.分组比较器的设置

  1. 用户可以自定义key的分组比较器，自定义的比较器必须是一个RawComparator类型的类,重点是实现compareTo()方法
  2. 如果没有设置key的分组比较器，默认采取在Map阶段排序时，key的比较器

3.Reduce的细节

在进入reduce()时，Reducer会自动实例化一个key-value，这个key-value在Redcuer工作期间，一直是一个不变的对象,每次迭代，reducer会把读到的新的key-value的属性值赋值给key-value。

十、压缩

1.压缩的目的

  • 压缩的目的是在MR运行期间，提高MR运行的效率。
  • 压缩可以减少MR运行期间的磁盘IO和网络IO。

2.压缩的原则

  • IO密集型，多用压缩
  • 计算密集型，CPU负载过重，少用压缩

3.Hadoop支持的压缩格式

自带： deflate,bzip2,gzip
额外安装的： lzo,snappy

特点：
① bzip2压缩比最高，压缩速度最慢
② snappy压缩速度最快，压缩比凑合
③ deflate，gzip折中

使用便利性：

  • LZO压缩格式最麻烦
    ①额外安装LZO压缩格式
    ②如果JOB输入目录中的文件为LZO压缩格式，需要为每个文件创建索引，如果不创建索引，那么输入的文件无法切片，整个文件作为1片，还需要使用LZO特定的输入格式，使用LZOInputFormat！

  • 其他的压缩格式，和纯文本文件使用一致的，不需要额外设置

可切片的角度：

  • 如果Job的输入采用了压缩，只有bzip2和lzo可以切片

使用场景：

  • Bzip2： 对速度没有要求，常作为reduce输出结果的压缩格式，即便job运行后，输出的结果还需要被另一个Job继续处理，Bzip2格式也可以支持切片

  • Lzo: 作为Job输入文件的压缩格式

  • Snappy: 作为shuffle阶段的压缩格式

4.压缩的考虑

①Mapper的输入：主要考虑每个文件的大小，如果文件过大，需要使用可以切片的压缩格式
②Reducer的输出：reducer的输出主要考虑，输出之后，是否需要下一个Job继续处理，如果需要被下个Job继续处理，且单个文件过大，也要使用可以切片的压缩格式

③shuffle阶段：速度快即可

5.压缩的参数

io.compression.codecs ： 代表整个Job运行期间，可以使用哪些压缩格式！

  • 配置这个参数后，配置的压缩格式会被自动初始化！
  • 默认值： deflate,gzip,bzip2

mapreduce.map.output.compress: map阶段输出的key-value是否采用压缩

  • 默认值： false

mapreduce.map.output.compress.codec： map阶段输出的key-value采用何种压缩

  • 默认值： deflate

mapreduce.output.fileoutputformat.compress： job在reduce阶段最终的输出是否采用压缩

  • 默认值： false

mapreduce.output.fileoutputformat.compress.codec： job在reduce阶段最终的输出采用何种压缩

  • 默认值： deflate
Wuyikkk
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
浅谈MapReduce作业提交流程
s_pr1te的博客
04-11 269
YARN：解耦资源与计算 ResourceManager 主，核心 集群节点资源管理 NodeManager 与RM汇报资源 管理Container生命周期 计算框架中的角色都以Container表示 Container：【节点NM，CPU,MEM,I/O大小，启动命令】 默认NodeManager启动线程监控Container大小，超出申请资源额度，kill 支持Linux内核的Cgroup M...
浅谈Mapreduce
KDLin‘s Blog
11-01 132
Mapreduce 2020年11月1日 8:24 引言 这是一个编程框架，由框架负责并行任务执行，由你负责编写任务单元分解，任务合并业务。 Mapreduce的编写分为三大部分： mapper 数据按行输入，mapper负责处理行数据，将行数据分解成一个或多个基础单元。行数据由框架对源数据格式化后提供 reducer 大量mapper分解得到的基础单元集，由reducer进行合并，如何合并，合并算法。 driver 负责任务配置 主要任务是指定mapper和redu.
浅谈MapReduce编程模型
dminhy986763的博客
08-25 265
以Wordcount程序为例，简单描述MapReduce程序的编程模型。 MapReduce程序组成 MapReduce程序一般分成三个部分： 一个程序主引导部分； 一个Map程序部分； 一个Reduce部分。 主引导部分用来设置MapReduce（以下简称 “ MR” ）程序的一些非业务逻辑属性，例如最终生成jar包时指定MR框架执行该程序的入口、MR程序的map和...
浅谈MapReduce经典案例之wordcount
qq_44093764的博客
06-25 479
Hadoop是由Apache Software Foundation 公司于 2005 年秋天作为Lucene的子项目Nutch的一部分正式引入。它受到由Google Lab 开发的Map/Reduce 和Google File System(GFS)的启发，而正式落地。 Hadoop最核心的设计便是HDFS和MapReduce。 Hadoop最底层的HDFS(Hadoop Distributed File System)是一个大型的分布式文件系统，为海量数据的存储提供了可能性及高可靠性。 而其离线分布式并
浅谈MapReduce的shuffle机制
dminhy986763的博客
08-25 173
　　Map Reduce是一个计算框架。Map函数发送到所有含有涉及数据的节点上运行，而Reduce之运行在多台主机上用作收集map结果用，reduce数量取决于reduce收集函数分了几个组，只在几个几个节点上运行。 shuffle机制：分组排序 MapReduce执行过程 map进程数量基于切片思想，一个切片对应一个map进程，切片大小相对块大小而言，块小切...
浅谈MapReduce的原理及编程
绿萝蔓蔓绕枝生
09-10 533
一、什么是MapReduce MapReduce是一个分布式计算框架； 它将大型数据操作作业分解为可以跨服务器集群并行执行的单个任务；适用于大规模数据处理场景；每个节点处理存储在该节点的数据；每个 job 包含Map和Reduce两部分 二、MapReduce的设计思想 1、分而治之 简化并行计算的编程模型 2、构建抽象模型 开发人员专注于实现 Mapper 和 Reduce 函数 3、隐藏系统层细节 开发人员专注于业务逻辑实现 MapReduce特点 1、优点 易于编程 可扩展性 高容错性
浅谈MapReduce工作机制
weixin_30855761的博客
12-18 108
1.MapTask工作机制 　　整个map阶段流程大体如上图所示。简单概述：input File通过getSplits被逻辑切分为多个split文件，通通过RecordReader(默认使用lineRecordReader)按行读取内容给map(用户自己实现的map方法)，进行处理，数据被map处理结束之后交给OutputCollector收集器，对其结果key进行分区(默认使用hash分区...
浅谈MapReduce的工作机制
冥王的IT之旅
03-31 1063
简要介绍YARN的工作机制以及与经典MapReduce的对比
浅谈MapReduce核心之shuffle
夜阑听风
02-27 253
Hadoop拥有三大核心组件，HDFS作为底层的分布式文件系统，MapReduce作为计算框架，yarn作为资源调度管理器。对于开发人员来说，理解MapReduce是很重要的。在WordCount程序中，map生成的结果是一个个的元组，类似于（hello，1），非常非常多的元组，由context写入到hdfs中，而后续的Reduce阶段，实际上reduce方法接收的参数类似于这种，（hello，&...
2019740211温莹莹 浅谈mapreduce.doc
11-10
2019740211温莹莹 浅谈mapreduce.doc
大数据浅谈.pdf
06-28
本文档主要介绍了大数据技术的基本介绍、简单使用和相关应用场景。
浅谈分布式服务协调技术Zookeeper
02-25
根据MapReduce，于是我们有了Hadoop；根据GFS，于是我们有了HDFS；根据BigTable，于是我们有了HBase。而在这三篇论文里都提及Google的一个LockService——Chubby，哦，于是我们有了Zookeeper。随着大数据的火热，Hxx...
从Hadoop框架与MapReduce模式中谈海量数据处理
03-04
几周前，当我最初听到，以致后来初次接触Hadoop与MapReduce这两个东西，我便稍显兴奋，觉得它们很是神秘，而神秘的东西...尽管我对这个Hadoop与MapReduce知之甚浅，但我还是想记录自己的学习过程，说不定，关于这个东西
MapReduce工作流程
Wuyikkk的博客
02-17 8268
1、Mapper的map()方法传来的<k,v>数据会先进入环形缓冲区kvbuffer（内存中首尾相连的数据结构，环形缓冲区由数据区和索引区组成），当kvbuffer中的数据达到80%，就会发生溢写。 2、溢写前，kvbuffer会对缓冲区内的数据进行快排，先按分区编号排序，再按map的key排序。（排序只会改变索引区索引的顺序，不会改变数据区的数据） 3、溢写多次，就会产生多个磁盘文件file.out，和索引文件file.out.index。 4、多个溢写文件会合并成一个文件（通过归并排序）.
浅谈Yarn
Wuyikkk的博客
02-17 730
一、Yarn的架构 二、作业提交流程 1> 作业提交 client调用job.waitForCompletion方法，向集群提交MapReduce作业 client向ResourceManager申请一个Application RM给Client返回该job资源的提交路径和作业id Client提交jar包、切片信息和配置文件到指定的资源提交路径 Client提交资源完后，向RM申请运行MRAppMaster 2> 作业初始化 当RM收到Client的请求后，将该job添加到容量调度器中
HDFS-HA
Wuyikkk的博客
02-25 305
一、HDFS-HA故障转移机制 考虑到edits编辑日志如果放在一台active的NamNode上话，如果此节点挂掉，另外的NameNode无法获取到数据，所以引出了Edits文件管理系统：qjournal集群。 故障转移流程 NameNode正常运行时，向去journal集群获取edits，各个NameNode节点都有一个独立的Zookeeper Failover controller（ZKFC），active的NameNode的ZKFC在Zookeeper中占用一个临时节点，其余的ZKFC通过监视此
浅谈HDFS
Wuyikkk的博客
02-16 135
一、HDFS写数据流程 1）客户端通过DistributedFileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否存在，父目录是否存在，是否有写权限。 2）NameNode返回是否可以上传。 3）客户端请求上传第一个Block。 4）NameNode返回存储块的位置信息（存储节点数取决于文件的副本数） 5）客户端通过FSDataOutputStream模块请求与DataNode1建立数据传输通道，dn1收到请求会继续调用dn2，dn2调用dn3，直至通信通道建立完成。 6
浅谈MapReduce大数据处理平台与算法，从50个方面进行论述，要从大学生角度出发，内容需要详细充实，并结合实际案列来说明
最新发布
06-10
2. MapReduce算法的定义及原理 3. Hadoop平台的介绍 4. Hadoop平台的架构及组件 5. Hadoop平台中的HDFS介绍 6. Hadoop平台中的YARN介绍 7. Hadoop平台中的MapReduce介绍 8. Hadoop平台中的Hive介绍 9. Hadoop平台中...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值