HadoopCore-MapReduce

3.MapReduce简介

4.MapReduce运行流程

program——》master
assign map散——>worker——》split逻辑切分——》localwrite到 disks （先暂存，解耦）
assign reduce聚——》worker——》聚在一起——》output files

5.流程详解

1.pre-map：map前期准备
文件切分——》<k,v>
2.map: 打散
partition(hash值运算，按split进行划分)——》sort排序——》combine局部聚合
2.5shuffle：洗牌，神奇发生处
sort&merge(排序，partition合并)
3.reduce：聚
reduce全局聚合——》output

注意:combine局部聚合，为了减少全局聚合的压力
但也不一定哪都适用，不能局部计算的类型就不适合局部聚合

2.MapReduce Java Api 实现

2.1 Map类 （散）

		对数据进行切分

		重点：StringTokenizer st=new StringTokenizer(line,",");

		在这就可以设置具体的切分方式

2.2 Reduce类 （聚）

		 Iterable<IntWritable> values，按key值将相同key对应的value形成一个聚合体，可以看成一个集合。

		在迭代中，获取对应的value值。便可以进行各种计算。

		所有Reduce类中 ， 每次传来的就是  key 和 key对应value的集合，这个概念是求平均值的重点！

2.3 Driver类 （驱动）

		可以设定有多少个环节，一般多操作job.setCombinerClass,局部聚合看情况添减。

3.如何判断输入数据的类型

3.1判断数组

		1） 正则表达式

		2） 强制转换

		3） 现成的API

3.2 正则表达式

		最为灵活强大

1）Pattern

			创建正则表达式的对象，便能做操作

2）Matcher

		1.matches()			全匹配

		2.lookingAt()		前段匹配

		3.find()		任意位置匹配

4.数据的分块存储和切分计算

	任何文件都可以进行分块存储  （都是二进制）

	但不一定都适合切分计算，比如一张图片切分成两段计算，就是两个废文件

5.压缩的本质

	数据有一定的重复性和规律性

6.文件格式

	1 .txt 	可切分	便捷	成本大

	2  .seq	可切分	kv存储，可压缩	不易查看数据

	3 .rc	可切分	查询快，利用率高		每一项都不最高 

	（行列切分，行切分保证数据连贯完整，列切分保证数据相似性。便于减少寻址时间，提高压缩率）

	4 .orc	可切分	rc的进一步提升

7.压缩格式

gz		最原生	不可切分		cpu要求高	<128最好

lzo		不原生	快，合理

bz2		原生	快，高

snappy	不原生	快，合理

1.文件输出格式

-Dmapred.output.compress=true \

-Dmapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec\

main方法中添加-

         //参数解析器

        GenericOptionsParser optionParser = new GenericOptionsParser(conf,args);

      String[] remainingArgs = optionParser.getRemainingArgs();

       if ((remainingArgs.length != 2)) {

        System.err.println("Usage: yarn jar jar_path main_class_path -D参数列表 <in> <out>");

        System.exit(2);

       }

//指定输入数据的路径

FileInputFormat.addInputPath(job, new Path(remainingArgs[0]));

//指定输出路径,并要求该输出路径一定是不存在的

FileOutputFormat.setOutputPath(job, new Path(remainingArgs[1]));

gzip格式：.GzipCodec lzo格式：.lzo.LzopCodec bzip2格式：.BZip2codec

2.自定义Partition

-Dmapred.reduce.tasks=2 \ 定义reduce数量

 /**

        自定义Partition的定义

 */

publicstatic class MyHashPartitioner<K, V> extends Partitioner<K, V> { 

    /**Use {@link Object#hashCode()} to partition. */

   public int getPartition(K key, V value, int numReduceTasks) {

       return (key.toString().charAt(0) < 'q' ? 0 : 1) % numReduceTasks;

       // return key.toString().charAt(0);

    }

}

可以对key进行限制进行不同规则切分

3.外部配置文件-configuration

当需要将某个xx.txt文件内容传递到各个计算节点，可通过Configuration传递到Map中

覆写setup方法，需要的参数只初始化一次。

标记状态位，用于标记一次性初始化的用法。