MapReduce

一、MapReduce过程

1、MapReduce官方执行过程

2、mapreduce过程

属于yarn中的运行过程，yarn执行过程 点这里

client->分片（按block）->split(按行,形成<k:v>)->map->环形缓冲区->shuffle->reduce->hdfs->client

分片：按照块进行分片，一块一个分片，当后一个块大小小于10%，会合并到前一块，一个Datanode上可能会有多个分片

为什么Mapper输入是<LongWritable,Text>?

split(<k,v>) 后形成 <key,value> —><偏移量，文本内容>

为什么reducer在不同机器上执行，最后结果都在一个文件夹下？

因为 1、数据备份（SecondaryNamenode完成数据备份后）2、程序运行完之后是由app Master->app Manager统一上传至hdfs

setup加载缓存文件

3、shffle过程：从map端之后到reduce端之前的这段

1、写入环形缓冲区(默认大小：100M),数据量达到80%会spill到磁盘(Shuffle从溢写开始)，形成多个小文件
2、map端
partition会根据小文件中的key，计算出 key%节点数 [a 1,b 2,c 3,a 1...]
sort根据partition对节点数取余的结果进行排序[a 1,a 1,b 2...]，（快排：保证小文件内有序）
归并到大文件（归并排序：保证大文件内容有序）实现分区内有序
根据partition结果向对应节点分发内容，一个节点归并成一个大文件
3、reduce端
sort排序：文件1;[a1,a1,b1,b1,c1,]文件2:[a1,b1,]...-> [a1,a1,a1..,b1,b1,...]
group:a[1,1,1,1,1],b[1,1,1,1]... :key-Iterator
所以reducer类中的reduce方法中的value是迭代器

4、数据倾斜

当绝大部分的数据跑到一个节点上，而其他节点上的数据量很少的时候，即：各个节点上的数据量相差太大
产生原因：key分配不均
解决：通过自定义分区,[改变数据节点数,人为更改reduce个数],让数据尽可能的平均分散在各个机器上

5、wordcount执行过程

6、MapReduce最详细执行过程

二、IDEA中编写MapReduce

1、pom文件

<dependencies>
    <dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>4.12</version>
      <scope>test</scope>
    </dependency>
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-common</artifactId>
      <version>2.6.0</version>
    </dependency>
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-hdfs</artifactId>
      <version>2.6.0</version>
    </dependency>
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-auth</artifactId>
      <version>2.6.0</version>
    </dependency>
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-client</artifactId>
      <version>2.6.0</version>
    </dependency>
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-mapreduce-client-core</artifactId>
      <version>2.6.0</version>
    </dependency>
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-mapreduce-client-jobclient</artifactId>
      <version>2.6.0</version>
    </dependency>
  </dependencies>

2、MR代码

Mapper类

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
import java.io.IOException;

public class wcMapper extends Mapper<LongWritable, Text,Text, IntWritable> {
    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        String[] words = value.toString().split("[ |,]");			//设置单词分割方式
        for (String word : words) {
            context.write(new Text(word),new IntWritable(1));
        }
    }
}

Reducer类

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;
import java.io.IOException;

public class wcReducer extends Reducer<Text, IntWritable,Text,IntWritable> {
    // 数据格式：abc{1 1 1}
    @Override
    protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
        int sum = 0;
        for (IntWritable value : values) {
            sum+=value.get();
        }
        context.write(key,new IntWritable(sum));
    }
}

Job类

package MapReduce;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
import java.io.IOException;

public class WCDriver {
    public static void main(String[] args)  {
        //如果HADOOP_HOME有问题，请使用下面代码
        //System.setProperty("hadoop.home.dir","D:\\soft\\hadoop-2.6.0-cdh5.14.2\\hadoop-2.6.0-cdh5.14.2");
        
        Configuration conf = new Configuration();
        Job job = null;
        try {
            job = Job.getInstance(conf,"wc");
        } catch (IOException e) {
            e.printStackTrace();
        }
        //设置本类作为驱动
        job.setJarByClass(WCDriver.class);
        //设置Mapper，Reducer类
        job.setMapperClass(wcMapper.class);
        job.setReducerClass(wcReducer.class);
        //设置Mapper类和Reducer类的输入输出
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);
        
        //设置文件输入与输出地址
        try {
            TextInputFormat.addInputPath(job,new Path("file:///D:\\peixun\\soft\\projects\\MapReduceTest\\a.txt"));
            TextOutputFormat.setOutputPath(job,new Path("file:///D:\\out"));
        } catch (IOException e) {
            e.printStackTrace();
        }
        boolean isSuccess = false;

        try {
            isSuccess = job.waitForCompletion(true);
        } catch (IOException e) {
            e.printStackTrace();
        } catch (InterruptedException e) {
            e.printStackTrace();
        } catch (ClassNotFoundException e) {
            e.printStackTrace();
        }
        System.out.println(isSuccess?"成功":"失败");
    }
}

3、配置log4j

1、创建resources文件夹
在工程目录下创建

2、设为输出文件夹

3、将log4j文件拖进去
没有的可以去我的资源找一下

4、修改log文件输出地址

5、添加log4j依赖

<dependency>
      <groupId>log4j</groupId>
      <artifactId>log4j</artifactId>
      <version>1.2.17</version>
</dependency>

三、Combiner

四、Partitioner