Hadoop(二）

最新推荐文章于 2024-03-29 10:59:48 发布

Ally_one

最新推荐文章于 2024-03-29 10:59:48 发布

阅读量357

点赞数

分类专栏： hadoop 文章标签：大数据 hadoop

本文链接：https://blog.csdn.net/Ally_one/article/details/117048131

版权

hadoop 专栏收录该内容

5 篇文章 0 订阅

订阅专栏

上篇答案：

HDFS为何将文件分成block块存储？
- 减少底层操作系统的IO读取时的寻址时间
- 方便更高效的流式读取，提高吞吐量
HDFS block块的默认大小时多少？
- dfs.blocksize为Hadoop定义block块大小的设置参数，在hdfs-site.xml中
- 版本不一样，默认值不同。Hadoop2.2.x及以后版本均为128M
HDFS block块的大小是否可以更改？
- 一个block块文件不会跨文件存储
- 一个block块文件最多只会存储一个文件对应的数据
一个block块文件是否可以存储多个文件数据？
- 实际文件多大则占多大空间，但是占了一个block块的元数据空间大小
- 小文件越多，Hadoop NameNode的压力越大。故Hadoop的优势在于处理大文件
如果一个文件的大小，小于一个blocksize，那么它实际占用多大空间？
- 实际文件多大则占多大空间，但是占了一个block块的元数据空间大小
- 小文件越多，Hadoop NameNode的压力越大。故Hadoop的优势在于处理大文件数据，GB、TB甚至PB等
HDFS block越大越好？还是越小越好？
- 越大则分块越少，则NameNode压力将减小，但并行的IO和处理能力降低
- 越小则分块越多，则NameNode处理压力越大，但因为寻址时间太久，不利于

分布式计算框架Map/Reduce

分布式计算框架MapReduce

1.产生背景

1.Web2.0时代，数据爆炸式、指数级增长，大数据分布式计算需求频繁
2.通过单机内存扩展来增强计算能力，已经无法承载大规模数据量的计算
3.分布式计算开发和维护的复杂与多变，对程序员要求太高

Google公司为了解决其搜索引擎中大规模网页数据的并行化处理，研究提出的一种面向大规模数据处理的并行计算模型和方法，称为MapReduce。

2003年和2004年，Google公司在国际会议上分别发表了两篇关于Google分布式文件系统和MapReduce的论文，公布了Google的GFS和MapReduce的基本原理和主要设计思想。

2004年，Cutting和同为程序员出身的Mike Cafarella决定开发一款可以代替当时的主流搜索产品的开源搜索引擎，这个项目被命名为Nutch。2005年初，Nutch的开发人员在Nutch上实现了一个MapReduce系统，到年中，Nutch的所有主要算法均完成移植，用MapReduce和NDFS来运行。在2006年2月，开发人员将NDFS和MapReduce移出Nutch形成Lucene的一个子项目，称为Hadoop。Hadoop中MapReduce的实现正是基于Google的论文的MapReduce的开源实现。

2.MapReduce是什么？

MapReduce是一种编程模型，是面向大数据并行处理的计算模型、框架和平台。

MapReduce是一个基于集群的高性能并行计算平台。可以使用普通服务器构成一个包含数十、数百、甚至数千个节点的分布式和并行计算集群。
MapReduce是一个并行计算与运行的软件框架。它提供了一个庞大但设计精良的并行计算软件框架，能自动划分计算数据和计算任务，自动完成计算任务的并行化处理，实现在集群节点上自动分配和执行任务并收集计算结果，将数据分布存储、数据通信、容错处理等并行计算涉及到的很多系统底层的复杂实现细节交由系统负责处理，大大减少了软件开发人员的负担。
MapReduce是一个并行程序设计模型与方法。它提供了一种简便的并行程序设计方法，用Map和Reduce两个函数编程实现基本的并行计算任务，提供了抽象的操作和并行编程接口，以简单方便地完成大规模数据的编程和计算处理。

3.基本特点

分布可靠，对数据集的操作分发给集群中的多个节点实现可靠性，每个节点周期性返回它完成的任务和最新的状态。封装了实现细节，基于框架API编程，面向业务展开分布式编码。
提供跨语言编程能力。

4.企业应用

各大运营商
中大型互联网公司，如BAT、京东、乐视、美团等。
金融银行保险类公司
各大云平台的分布式计算框架
其他本地系统无法承载计算能力的应用

MapReduce运行流程

1.MapReduce的主要功能

1.1 数据划分和计算任务调度

系统自动将一个作业(Job)待处理的大数据划分为很多个数据块，每个数据块对应于一个计算任务(Task)，并自动调度计算节点来处理相应的数据块。作业和任务调度功能主要负责分配和调度计算节点(Map节点或Reduce节点)，同时负责监控这些节点的执行状态，并负责Map节点执行的同步控制。

1.2 数据/代码互定位

为了减少数据通信，一个基本的原则是本地化数据处理，即一个计算节点尽可能处理其本地磁盘上所分布存储的数据，这实现了代码向数据的迁移；当无法进行这种本地化数据处理时，再寻找其他可用节点并将数据从网络上传送给该节点(数据向代码迁移)，但尽可能从数据所在的本地机架上寻找可用节点以减少通信延迟。

1.3 系统优化

为了减少数据通信开销，中间结果数据进入Reduce节点前会进行一定的合并处理；一个Reduce节点所处理的数据可能会来自多个Map节点，为了避免Reduce计算阶段发生数据处理不平衡，Map节点输出的中间结果需使用一定的策略进行适当的划分处理，保证相关性数据发送到同一个Reduce节点；此外，系统还进行一些及酸性能优化处理，如对最慢的计算任务采用多备份执行、选最快完成者作为结果。

1.4出错检测和恢复

以低端的商用服务器构成的大规模MapReduce计算集群中，节点硬件(主机、磁盘、内存等)出错和软件出错是常态，因此MapReduce需要能检测并隔离出错节点，并调度分配新的节点接管出错节点的计算任务。同时系统还将维护数据存储的可靠性，用多备份冗余存储机制提高数据存储的可靠性，并能及时检测和恢复出错的数据。

2.MapReduce的运行流程（Very Important)

2.1运行流程

MR运行流程图
由上图可以看到MapReduce执行下来主要包含这样几个步骤：

首先对输入数据源进行切片
master调度worker执行map任务
worker读取输入源片段
worker执行map任务，将任务输出保存在本地
master调度worker执行reduce任务，reduce worker读取map任务的输出文件
执行reduce任务，将任务输出保存到HDFS
（此处应注意，map内容的产生的中间结果保存在本地，而最终reduce产生的结果会保存到HDFS上。）

2.2运行流程详解

以WordCount为例
给定任意的HDFS的输入目录，其内部数据为“f a c d e……”等用空格字符分隔的字符串，通过使用MapReduce计算框架来统计以空格分隔的每个单词出现的频率，输出结果如<a,10>,<b,20>,<c,2>形式的结果到HDFS目录中。
WordCount运行图解

MapReduce将作业的整个运行过程分为两个阶段：Map阶段Reduce阶段。
Map阶段由一定数量的Map Task组成，例如：
输入数据格式解析：InputFormat
输入数据处理：Mapper
数据分组：Partitioner
数据按照key排序
本地规约：Combiner（相当于local reducer，可选）
将任务输出保存在本地
Reduce阶段由一定数量的Reduce Task组成，例如：
数据远程拷贝
数据按照key排序
数据处理：Reducer
数据输出格式：OutputFormat
Reduce阶段：
Shuffle阶段：每一个reduce的worker会把对应区号的数据拷贝过来根据key作为全局的排序。
group分组阶段：有默认规则，也可以自定义。分几个组就会调用几次reduce方法。
通常我们把从Mapper输出数据到Reduce读取数据之间的过程称之为shuffle。

MapReduce Java API应用

1.MapReduce开发流程

搭建开发环境，参考HDFS环境搭建，基本一致
基于MapReduce框架编写代码
编译打包，将源代码和依赖jar包打成一个包
上传至运行环境
运行hadoop jar命令，现已由yarn jar替代，建议使用新命令提交执行
具体提交命令为：

yarn jar testhdfs-jar-with-dependencies.jar
com.jack.driver.WordCount /tmp/jack/input
/tmp/jack/output3

通过yarn web ui 查看执行过程
查看执行结果

2.WordCount代码实现

2.1 Map类编写

Mapper：是MapReduce计算框架中Map过程的封装
Text：Hadoop对Java String类的封装，适用于Hadoop对文本字符串的处理
IntWritable：Hadoop对Java Integer类的封装，适用于Hadoop整型的处理
Context：Hadoop环境基于上下文的操作对象，如Map中key/value的输出、分布式缓存数据、分布式参数传递等
StringTokenizer：对String对象字符串的操作类，做基于空白字符的切分操作工具类
源码编写实现：

package com.jack.mapper;
import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
public class MyTokenizerMapper extends
        Mapper<Object, Text, Text, IntWritable> {
    // 暂存每个传过来的词频计数，均为1,省掉重复申请空间
    private final static IntWritable one = new IntWritable(1);
    // 暂存每个传过来的词的值，省掉重复申请空间
    private Text word = new Text();
    // 核心map方法的具体实现,逐个<key,value>对去处理
    public void map(Object key, Text value, Context context)
            throws IOException, InterruptedException {
        // 用每行的字符串值初始化StringTokenizer
        StringTokenizer itr = new StringTokenizer(value.toString());
        // 循环取得每个空白符分隔出来的每个元素
        while (itr.hasMoreTokens()) {
            // 将取得出的每个元素放到word Text对象中
            word.set(itr.nextToken());
            // 通过context对象，将map的输出逐个输出
            context.write(word, one);
        }
    }
}

2.2 Reduce类编写

Reducer：是MapReduce计算框架中Reduce过程的封装
源码编写实现：

package com.jack.reducer;
import java.io.IOException;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;
//reduce类，实现reduce函数
public class IntSumReducer extends
                Reducer<Text, IntWritable, Text, IntWritable> {
         private IntWritable result = new IntWritable();
         //核心reduce方法的具体实现,逐个<key,List(v1,v2)>去处理
         public void reduce(Text key, Iterable<IntWritable> values,
                      Context context) throws IOException, InterruptedException {
                //暂存每个key组中计算总和
                int sum = 0;
                //加强型for,依次获取迭代器中的每个元素值,即为一个一个的词频数值
                for (IntWritable val : values) {
                      //将key组中的每个词频数值sum到一起
                      sum += val.get();
                }
                //将该key组sum完成的值放到result IntWritable中，使可以序列化输出
                result.set(sum);
                //将计算结果逐条输出
                context.write(key, result);
         }
   }

2.3 Driver类编写

Configuration：与HDFS中的Configuration一致，负责参数的加载和传递
Job：作业，是对一轮MapReduce任务的抽象，即一个MapReduce的执行全过程的管理类
FileInputFormat：指定输入数据的工具类，用于指定任务的输入数据路径
FileOutputFormat：指定输出数据的工具类，用于指定任务的输出数据路径
源码编写实现：

package com.tianliangedu.driver;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import com.tianliangedu.mapper.MyTokenizerMapper;
import com.tianliangedu.reducer.IntSumReducer;
public class WordCount {
   // 启动mr的driver方法
   public static void main(String[] args) throws Exception {
       // 得到集群配置参数
       Configuration conf = new Configuration();
       // 设置到本次的job实例中
       Job job = Job.getInstance(conf, "天亮WordCount");
       // 指定本次执行的主类是WordCount
      job.setJarByClass(WordCount.class);
       // 指定map类
      job.setMapperClass(MyTokenizerMapper.class);
       // 指定combiner类，要么不指定，如果指定，一般与reducer类相同
      job.setCombinerClass(IntSumReducer.class);
       // 指定reducer类
      job.setReducerClass(IntSumReducer.class);
       // 指定job输出的key和value的类型,如果map和reduce输出类型不完全相同，需要重新设置map的output的key和value的class类型
      job.setOutputKeyClass(Text.class);
      job.setOutputValueClass(IntWritable.class);
       // 指定输入数据的路径
      FileInputFormat.addInputPath(job, new Path(args[0]));
       // 指定输出路径,并要求该输出路径一定是不存在的
      FileOutputFormat.setOutputPath(job, new Path(args[1]));
       // 指定job执行模式，等待任务执行完成后，提交任务的客户端才会退出!
      System.exit(job.waitForCompletion(true) ? 0 : 1);
   }
}

2.4 Maven打包

使用Maven命令，基于配置的Maven插件实现代码打包。

2.5 上传到运行环境

使用rz命令将打好的运行包上传到集群环境中。

2.6 运行WordCount程序

具体提交命令为：
yarn jar testhdfs-jar-with-dependencies.jar com.jack.driver.WordCount /tmp/jack/input /tmp/jack/output3

3.标准代码实现

将之前的三个类，合并成一个类来处理

import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

//启动mr的driver类
public class WordCount {

       //map类，实现map函数
       public static class MyTokenizerMapper extends
                    Mapper<Object, Text, Text, IntWritable> {
             //暂存每个传过来的词频计数，均为1,省掉重复申请空间
             private final static IntWritable one = new IntWritable(1);
             //暂存每个传过来的词的值，省掉重复申请空间
             private Text word = new Text();

             //核心map方法的具体实现,逐个<key,value>对去处理
             public void map(Object key, Text value, Context context)
                          throws IOException, InterruptedException {
                    //用每行的字符串值初始化StringTokenizer
                    StringTokenizer itr = new StringTokenizer(value.toString());
                    //循环取得每个空白符分隔出来的每个元素
                    while (itr.hasMoreTokens()) {
                          //将取得出的每个元素放到word Text对象中
                          word.set(itr.nextToken());
                          //通过context对象，将map的输出逐个输出
                          context.write(word, one);
                    }
             }
       }

       //reduce类，实现reduce函数
       public static class IntSumReducer extends
                    Reducer<Text, IntWritable, Text, IntWritable> {
             private IntWritable result = new IntWritable();

             //核心reduce方法的具体实现,逐个<key,List(v1,v2)>去处理
             public void reduce(Text key, Iterable<IntWritable> values,
                          Context context) throws IOException, InterruptedException {
                    //暂存每个key组中计算总和
                    int sum = 0;
                    //加强型for,依次获取迭代器中的每个元素值,即为一个一个的词频数值
                    for (IntWritable val : values) {
                          //将key组中的每个词频数值sum到一起
                          sum += val.get();
                    }
                    //将该key组sum完成的值放到result IntWritable中，使可以序列化输出
                    result.set(sum);
                    //将计算结果逐条输出
                    context.write(key, result);
             }
       }

       //启动mr的driver方法
       public static void main(String[] args) throws Exception {
             //得到集群配置参数
             Configuration conf = new Configuration();
             //设置到本次的job实例中
             Job job = Job.getInstance(conf, "天亮WordCount");
             //指定本次执行的主类是WordCount
             job.setJarByClass(WordCount.class);
             //指定map类
             job.setMapperClass(MyTokenizerMapper.class);
             //指定combiner类，要么不指定，如果指定，一般与reducer类相同
             job.setCombinerClass(IntSumReducer.class);
             //指定reducer类
             job.setReducerClass(IntSumReducer.class);
             //指定job输出的key和value的类型,如果map和reduce输出类型不完全相同，需要重新设置map的output的key和value的class类型
             job.setOutputKeyClass(Text.class);
             job.setOutputValueClass(IntWritable.class);
             //指定输入数据的路径
             FileInputFormat.addInputPath(job, new Path(args[0]));
             //指定输出路径,并要求该输出路径一定是不存在的
             FileOutputFormat.setOutputPath(job, new Path(args[1]));
             //指定job执行模式，等待任务执行完成后，提交任务的客户端才会退出!
             System.exit(job.waitForCompletion(true) ? 0 : 1);
       }
}

MapReduce Shell应用

1. MapReduce的二级命令

mapred称为一级命令，直接输入mapred回车，即可查看二级命令：
MR二级命令

2. MapReduce的三级命令

输入一级命令mapred后，再任意输入一个二级命令，即可查看三级命令： MR三级命令

3. MapReduce shell应用

查看当前正在执行的job任务
先提交一个WordCount任务，然后使用mapred job -list查看任务列表。
终止(kill)一个任务的执行
由于某种原因，要立即终止某任务的执行，则使用mapred job -kill job-id。
构造场景：先提交一个WordCount job，然后通过kill job-id来终止任务：
进入系统查看任务
查看一个job的日志
使用mapred shell命令，通过job-id可以查看job的工作日志。
命令格式为：mapred job -logs job-id：