hadoop-mapreduce

最新推荐文章于 2024-04-21 23:13:45 发布
最新推荐文章于 2024-04-21 23:13:45 发布
阅读量344 收藏
点赞数
分类专栏： 【大数据】➣ Hadoop 文章标签： mapreduce hadoop
欢迎转载，注明作者和出处就好！如果有任何问题或文章存在明显的谬误，请留言说明原因谢谢，我也可以知道原因，不断进步！
本文链接：https://blog.csdn.net/coder__cs/article/details/78546094
版权

MapReduce概述

  • MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题.
  • MR由两个阶段组成：Map和Reduce，用户只需要实现map()和reduce()两个函数，即可实现分布式计算，非常简单。
  • 这两个函数的形参是key、value对，表示函数的输入信息。

这里写图片描述

执行步骤

  1. map任务处理

    1.1 读取输入文件内容，解析成key、value对。对输入文件的每一行，解析成key、value对。每一个键值对调用一次map函数。

    1.2 写自己的逻辑，对输入的key、value处理，转换成新的key、value输出。

  2. reduce任务处理

    2.1 在reduce之前，有一个shuffle的过程对多个map任务的输出进行合并、排序。

    2.2 写reduce函数自己的逻辑，对输入的key、value处理，转换成新的key、value输出。

    2.3 把reduce的输出保存到文件中。

这里写图片描述

WordCountApp的驱动代码

public static void main(String[] args) throws Exception {
    Configuration conf = new Configuration();    //加载配置文件
    Job job = new Job(conf);    //创建一个job，供JobTracker使用
    job.setJarByClass(WordCountApp.class);

    job.setMapperClass(WordCountMapper.class);
    job.setReducerClass(WordCountReducer.class);

    FileInputFormat.setInputPaths(job, new Path("hdfs://192.168.1.10:9000/input"));
    FileOutputFormat.setOutputPath(job, new Path("hdfs://192.168.1.10:9000/output"));

    job.setOutputKeyClass(Text.class);
    job.setOutputValueClass(IntWritable.class);

    job.waitForCompletion(true);
}

MR流程

◆ 代码编写
◆ 作业配置
◆ 提交作业
◆ 初始化作业
◆ 分配任务
◆ 执行任务
◆ 更新任务和状态
◆ 完成作业

MR过程各个角色的作用

◆ jobClient：提交作业
◆ JobTracker：初始化作业，分配作业，TaskTracker与其进行通信，协调监控整个作业
◆ TaskTracker：定期与JobTracker通信，执行Map和Reduce任务
◆ HDFS：保存作业的数据、配置、jar包、结果

作业提交

◆ 提交作业之前，需要对作业进行配置
- 编写自己的MR程序
- 配置作业，包括输入输出路径等等

◆ 提交作业
- 配置完成后，通过JobClient提交

◆ 具体功能
- 与JobTracker通信得到一个jar的存储路径和JobId
- 输入输出路径检查
- 将jobj ar拷贝到的HDFS
- 计算输入分片，将分片信息写入到job.split中
- 写job.xml
- 真正提交作业

作业初始化

◆ 客户端提交作业后，JobTracker会将作业加入到队列，然后进行调度，默认是FIFO方式

◆ 具体功能
- 作业初始化主要是指JobInProgress中完成的
- 读取分片信息
- 创建task包括Map和Reduce任创建task包括Map和Reduce任务
- 创建TaskInProgress执行task，包括map任务和reduce任务

任务分配

  • TaskTracker与JobTracker之间的通信和任务分配是通过心跳机制实现的
  • TaskTracker会主动定期向JobTracker发送心态信息，询问是否有任务要做，如果有，就会申请到任务。

任务执行

  • 如果TaskTracker拿到任务，会将所有的信息拷贝到本地，包括代码、配置、分片信息等
  • TaskTracker中的localizeJob()方法会被调用进行本地化，拷贝job.jar，jobconf，job.xml到本地
  • TaskTracker调用launchTaskForJob()方法加载启动任务
  • MapTaskRunner和ReduceTaskRunner分别启动java child进程来执行相应的任务

状态更新

  • Task会定期向TaskTraker汇报执行情况
  • TaskTracker会定期收集所在集群上的所有Task的信息，并向JobTracker汇报
  • JobTracker会根据所有TaskTracker汇报上来的信息进行汇总

作业完成

  • JobTracker是在接收到最后一个任务完成后，才将任务标记为成功
  • 将数结果据写入到HDFS中

错误处理

  • JobTracker失败
    • 存在单点故障，hadoop2.0解决了这个问题
  • TraskTracker失败
    • TraskTracker崩溃了会停止向JobTracker发送心跳信息。
    • JobTracker会将TraskTracker从等待的任务池中移除，并将该任务转移到其他的地方执行
    • JobTracker将TaskTracker加入到黑名单中
  • Task失败
    • 任务失败，会向TraskTracker抛出异常
    • 任务挂起

JobTracker

  • 负责接收用户提交的作业，负责启动、跟踪任务执行。
  • JobSubmissionProtocol是JobClient与JobTracker通信的接口。
  • InterTrackerProtocol是TaskTracker与JobTracker通信的接口。

TaskTracker

  • 负责执行任务。

JobClient

  • 是用户作业与JobTracker交互的主要接口。
  • 负责提交作业的，负责启动、跟踪任务执行、访问任务状态和日志等。

MapReduce调度框架

这里写图片描述

序列化机制

序列化概念

  • 序列化（Serialization）是指把结构化对象转化为字节流。
  • 反序列化（Deserialization）是序列化的逆过程。即把字节流转回结构化对象。
  • Java序列化（java.io.Serializable）

Hadoop序列化的特点

  • 序列化格式特点：
    1. 紧凑：高效使用存储空间。
    2. 快速：读写数据的额外开销小
    3. 可扩展：可透明地读取老格式的数据
    4. 互操作：支持多语言的交互

Hadoop的序列化格式：Writable

Hadoop序列化的作用

  • 序列化在分布式环境的两大作用：进程间通信，永久存储。
  • Hadoop节点间通信。

实例

序列化和反序列化过程 http://elon33.com/2017/hadoop-mapreduce-advanced/#example

Writable接口

  • Writable接口, 是根据 DataInput 和 DataOutput 实现的简单、有效的序列化对象.

  • MR的任意Key和Value必须实现Writable接口.
    这里写图片描述

  • MR的任意key必须实现WritableComparable接口
    这里写图片描述

常用的Writable实现类

Text一般认为它等价于java.lang.String的Writable。针对UTF-8序列。
例:

Text test = new Text("test");
IntWritable one = new IntWritable(1);

Writable

  • write 是把每个对象序列化到输出流
  • readFields是把输入流字节反序列化

这里写图片描述

  • 实现WritableComparable.
  • Java值对象的比较：一般需要重写toString(),hashCode(),
    equals()方法

MapReduce输入的处理类

FileInputFormat

FileInputFormat是所有以文件作为数据源的InputFormat实现的基类，FileInputFormat保存作为job输入的所有文件，并实现了对输入文件计算splits的方法。至于获得记录的方法是有不同的子类——TextInputFormat进行实现的。

InputFormat

这里写图片描述

InputFormat 负责处理MR的输入部分.

有三个作用:
- 验证作业的输入是否规范.
- 把输入文件切分成InputSplit.
- 提供RecordReader 的实现类，把InputSplit读到Mapper中进行处理.

这里写图片描述

InputSplit

◆ 在执行mapreduce之前，原始数据被分割成若干split，每个split作为一个map任务的输入，在map执行过程中split会被分解成一个个记录（key-value对），map会依次处理每一个记录。
◆ FileInputFormat只划分比HDFS block大的文件，所以FileInputFormat划分的结果是这个文件或者是这个文件中的一部分.
◆ 如果一个文件的大小比block小，将不会被划分，这也是Hadoop处理大文件的效率要比处理很多小文件的效率高的原因。
◆ 当Hadoop处理很多小文件（文件大小小于hdfs block大小）的时候，由于FileInputFormat不会对小文件进行划分，所以每一个小文件都会被当做一个split并分配一个map任务，导致效率底下。

例如：一个1G的文件，会被划分成16个64MB的split，并分配16个map任务处理，而10000个100kb的文件会被10000个map任务处理。

TextInputFormat

◆ TextInputformat是默认的处理类，处理普通文本文件。
◆ 文件中每一行作为一个记录，他将每一行在文件中的起始偏移量作为key，每一行的内容作为value。
◆ 默认以\n或回车键作为一行记录。
◆ TextInputFormat继承了FileInputFormat。

其他输入类

◆ CombineFileInputFormat
相对于大量的小文件来说，hadoop更合适处理少量的大文件。
CombineFileInputFormat可以缓解这个问题，它是针对小文件而设计的。
◆ KeyValueTextInputFormat
当输入数据的每一行是两列，并用tab分离的形式的时候，KeyValueTextInputformat处理这种格式的文件非常适合。
◆ NLineInputformat
可以控制在每个split中数据的行数。
◆ SequenceFileInputformat
当输入文件格式是sequencefile的时候，要使用SequenceFileInputformat作为输入。

自定义输入格式

1）继承FileInputFormat基类。
2）重写里面的getSplits(JobContext context)方法。
3）重写createRecordReader(InputSplit split,TaskAttemptContext context)方法。

Hadoop的输出

◆ TextOutputformat
默认的输出格式，key和value中间值用tab隔开的。
◆ SequenceFileOutputformat
将key和value以sequencefile格式输出。
◆ SequenceFileAsOutputFormat
将key和value以原始二进制的格式输出。
◆ MapFileOutputFormat
将key和value写入MapFile中。由于MapFile中的key是有序的，所以写入的时候必须保证记录是按key值顺序写入的。
◆ MultipleOutputFormat
默认情况下一个reducer会产生一个输出，但是有些时候我们想一个reducer产生多个输出，MultipleOutputFormat和MultipleOutputs可以实现这个功能。

思考题

◆ MapReduce框架的结构是什么

MapReduce框架结构 https://www.cnblogs.com/shipengzhi/articles/2487429.html

◆ Map和Reduce在整个MR框架中作用是什么
一个完整的job会自动依次执行Mapper、Combiner（在JobConf指定了Combiner时执行）和Reducer，其中Mapper和Combiner是由MapTask调用执行，Reducer则由ReduceTask调用，Combiner实际也是Reducer接口类的实现。Mapper会根据job jar中定义的输入数据集按

gamedev˚
关注
专栏目录
Hadoop大数据平台入门——HDFS和MapReduce
a60782885的博客
05-06 8359
随着硬件水平的不断提高，需要处理数据的大小也越来越大。大家都知道，现在大数据有多火爆，都认为21世纪是大数据的世纪。当然我也想打上时代的便车。所以今天来学习一下大数据存储和处理。 随着数据的不断变大，数据的处理就出现了瓶颈：存储容量，读写速率，计算效率等等。 google不愧是走在世界前列的大公司，为了处理大数据，google提出了大数据技术，MapReduce，BigTable和GFS。
hadoop-mapreduce-client-jobclient-2.6.5-API文档-中文版.zip
05-01
赠送jar包：hadoop-mapreduce-client-jobclient-2.6.5.jar； 赠送原API文档：hadoop-mapreduce-client-jobclient-2.6.5-javadoc.jar； 赠送源代码：hadoop-mapreduce-client-jobclient-2.6.5-sources.jar； 赠送...
基于Hadoop的基因组测序大数据分析平台研究
Gamedev
07-01 4667
首先要声明的是，基于Hadoop的基因组测序大数据分析平台研究是本人2018年的毕业设计课题，根据网络资源和自己的专业知识，独立完成整个流程设计、平台搭建和单元测试等工作。本系列文章是对该项目的一个整理总结和分享记录。 开发环境介绍：通过本人的2014年款ThinkPad开发，内存是8GB。 操作系统：Ubuntu16 开发平台：IDEA 开发时间：2018年2月~5月 【目...
hadoop详细笔记(十五) MR原理加强(mapreduce内部处理数据流程和shuffle详解)
HANG.NIAN
07-14 1556
1 MR内部处理数据流程 mr程序分为map端和reduce端,来进行处理数据,mr程序在运行的时候最先启动的程序就是MRAppMaster,MRAppMaster是可以读到在job提交的时候的参数信息,所以它可以根据参数信息,来启动对应数量的maptask和reducetask,在maptask启动后,会读取自己对应的任务切片,以逐行读取的方式,一个K,V执行一次map()方法,K为起始偏移量,V为行内容 在map()方法执行完一次后,会将数据写入到环形缓冲区中,当环形环形缓冲区中的数据存储达到
大数据Hadoop之MR(Map与Reduce)
weixin_43841494的博客
08-16 674
1. MapRedue的认识 MapReduce是一个分布式运算程序的编程框架，是Hadoop数据分析的核心框架。 2.MR的优缺点 优点 1.易于编程 简单实现一些接口，便可完成一个分布式程序 2.良好的扩展性 计算资源得不到满足的时候，可以简单的增加机器来扩展计算能力（增加的机器不用太好，普普通通就可以了） 3.高容错性 在进行运算的时候，其中一台机器发生损坏，可以把上面的计算任务转移到另外的一个节点上运行，不会导致任务运行失败 4.适合PB级别以上的海量数据的离线处理 可以实现上前台服务器的并发工作（
【MapReduce】MR 框架原理 之 排序
懂得一千零一种,赋予你失败的方法！
12-31 895
文章目录排序▶ 排序的定义▶ 排序的分类☠ 自定义排序 ---- 实现WritableComparable接口原理分析☠ WritableComparable排序案例(全排序)▪ 案例需求分析代码实现Bean类Mapper阶段Reducer阶段Driver阶段☠ WritableComparable排序案例(分区排序)▪ 案例需求分析代码实现PhonePartitioner分区类Bean类Mapper阶段Reducer阶段Driver阶段 排序 ▶ 排序的定义 排序是MapReduce框架中最重要的操..
Hadoop之hadoop-mapreduce-examples测试执行及报错处理
热门推荐
月生的静心苑
12-16 1万+
Hadoop Map/Reduce是一个使用简易的软件框架，基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。
【Hadoop】- MapReduce & YARN 初体验[9]
最新发布
weixin_63106307的博客
04-21 2306
1、Hadoop自带的MapReduce示例程序的代码jar包是2、使用什么命令提交MapReduce程序到YARN中执行？hadoop jar 命令语法：hadoop jar 程序文件 java类名 [程序参数] ..... [程序参数]3、如何查看程序运行状态在YARN WEB页面查看。
Hadoop运行官方示例hadoop-mapreduce-examples报错
wanjialin的博客
10-13 2642
前言： 首先要运行官方示例要确保hadoop集群搭建完成，且已经启动（start-all.sh）。 问题： 显示失败，分析一下错误代码，full path of your hadoop distribution directory 需要hadoop目录的满路经。它也提示了我们是在mapred-site.xml里修改。 执行命令 hadoop classpath 查看路径 然后进入到etc/hadoop 目录下，使用命令vim mapred-site.xml 将路径添加到<property>
Hadoop------hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar进程无法向下运行
d_eng_的博客
07-12 3897
执行jar包时，卡住不会动一般卡在两个地方 第一个是提交不到集群 第二种是提交到集群之后，不会往下运行
【无标题】虚拟机执行hadoop jar hadoop-mapreduce-examples-2.7.7.jar pi 10 10命令出现了EBADF错误该怎么办
m0_74821676的博客
12-06 552
hadoop-mapreduce-client-app-2.7.3-API文档-中英对照版.zip
07-14
赠送jar包：hadoop-mapreduce-client-app-2.7.3.jar； 赠送原API文档：hadoop-mapreduce-client-app-2.7.3-javadoc.jar； 赠送源代码：hadoop-mapreduce-client-app-2.7.3-sources.jar； 赠送Maven依赖信息文件：...
hadoop-mapreduce-client-app-2.6.5-API文档-中英对照版.zip
04-19
赠送jar包：hadoop-mapreduce-client-app-2.6.5.jar； 赠送原API文档：hadoop-mapreduce-client-app-2.6.5-javadoc.jar； 赠送源代码：hadoop-mapreduce-client-app-2.6.5-sources.jar； 赠送Maven依赖信息文件：...
hadoop-mapreduce-client-core-2.7.3-API文档-中英对照版.zip
07-14
赠送jar包：hadoop-mapreduce-client-core-2.7.3.jar； 赠送原API文档：hadoop-mapreduce-client-core-2.7.3-javadoc.jar； 赠送源代码：hadoop-mapreduce-client-core-2.7.3-sources.jar； 赠送Maven依赖信息文件：...
hadoop-mapreduce-client-app-2.6.5-API文档-中文版.zip
05-01
赠送jar包：hadoop-mapreduce-client-app-2.6.5.jar； 赠送原API文档：hadoop-mapreduce-client-app-2.6.5-javadoc.jar； 赠送源代码：hadoop-mapreduce-client-app-2.6.5-sources.jar； 赠送Maven依赖信息文件：...
Hadoop、Storm和Spark 三者的区别、比较
Gamedev
12-21 1万+
一、hadoop、Storm该选哪一个？为了区别hadoop和Storm，该部分将回答如下问题： 1.hadoop、Storm各是什么运算 2.Storm为什么被称之为流式计算系统 3.hadoop适合什么场景，什么情况下使用hadoop 4.什么是吞吐量首先整体认识：Hadoop是磁盘级计算，进行计算时，数据在磁盘上，需要读写磁盘；Storm是内存级计算，数据直接通过网络导入内存。读写内存
java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSums(IIL...
Gamedev
01-22 3538
在window Eclipse中运行Hadoop和Spark程序时会遇见如下异常错误java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSums(IILjava/nio/ByteBuffer;ILjava/nio/ByteBuffer;IILjava/lang/String;J
ipc.Client: Retrying connect to server,failed on socket timeout exception (已解决)
Gamedev
02-08 3338
在格式化NameNode出现下面异常，通过异常信息，我们初步可以看到是因为ipc.client，即无法访问集群中的journalnode主机所导致。 18/02/08 15:47:47 INFO namenode.FSNamesystem: Retry cache on namenode is enabled 18/02/08 15:47:47 INFO namenode.FSNamesyste...
基于MapReduce的应用案例
Gamedev
12-06 2990
项目托管于 Github，欢迎Star | Fork环境说明Hadoop搭建环境：| 虚拟机操作系统： CentOS6.3 64位，单核，1G内存 | JDK：1.7.0_60 64位 | Hadoop：2.4.1MR程序编译环境：| Eclipse IED | mapred.LocalJobRunner本地运行模式准备测试数据测试数据包括两个文件
hadoop-mapreduce-app
05-16
Hadoop-MapReduce主要由两个部分组成，一个是Hadoop分布式存储系统，它是一个可扩展的、高可靠的存储系统，另一个是MapReduce计算框架，它是一个基于Hadoop分布式存储系统的高效、可扩展的计算框架。 Hadoop-...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值