==================================
1 切片数量==mapper数量(作业有多少个切片就有多少个maper)
决定切片大小的因素:
InputFormat (反射实例化 newInstance)
从配置文件(maperd-default.xml)里取 SPLIT_MAXSIZE 的值 没有
minsize=1 maxsize=2的63方-1
=====================
块的大小blockSize(128M)minSize(1) maxSize(2的63方-1) 决定
//默认切片大小和block块的大小相等 切片大小=Math.max(minSize,Math.min(maxSize,blockSize))
//正常一个切片对应一个块 不需要跨网络读取数据 增加速度
/aaa
a.txt 129M b.txt 1k
3个block块 3个mapper
=========================
shuffle过程:
1个切片对应一个mapper,mapper将数据写入环形缓冲区 环形缓冲区默认是100M 当达到阈值80%时 会将数据溢写到磁盘(1先分区 2对每个分区数据排序(分区且排序的小文件) 3再合并为一个大文件(相同分区号的数据合并)再排序 分区且排序的大文件)
2 按照k2合并 向上级领导(MrAppMaster)汇报
3 reduce(reduce到mapper 端取数据)有个线程 不停的
0 号reduce 取0号分区的数据
1号reduce 取1号分区的数据
reduce合并 排序 计算 写回到hdfs中
======================================
1.实现分区的步骤:
1.1先分析一下具体的业务逻辑,确定大概有多少个分区
1.2首先书写一个类,它要继承org.apache.hadoop.mapreduce.Partitioner这个类
1.3重写public int getPartition这个方法,根据具体逻辑,读数据库或者配置返回相同的数字
1.4在main方法中设置Partioner的类,job.setPartitionerClass(DataPartitioner.class);
1.5设置Reducer的数量,job.setNumReduceTasks(6);
2.排序MR默认是按key2进行排序的,如果想自定义排序规则,被排序的对象要实现WritableComparable接口,在compareTo方法中实现排序规则,然后将这个对象当做k2,即可完成排序
3.combiner的作用就是在map端对输出先做一次合并,以减少传输到reducer的数据量。
4.MR启动流程
start-mapred.sh --> hadoop-daemon.sh --> hadoop --> org.apache.hadoop.mapred.JobTracker
Jobtracker调用顺序:main --> startTracker --> new JobTracker 在其构造方法中首先创建一个调度器,接着创建一个RPC的server(interTrackerServer)tasktracker会通过PRC机制与其通信
然后调用offerService方法对外提供服务,在offerService方法中启动RPC server,初始化jobtracker,调用taskScheduler的start方法 --> eagerTaskInitializationListener调用start方法,
--> 调用jobInitManagerThread的start方法,因为其是一个线程,会调用JobInitManager的run方法 --> jobInitQueue任务队列去取第一个任务,然后把它丢入线程池中,然后调用-->InitJob的run方法
--> jobTracker的initJob方法 --> JobInProgress的initTasks --> maps = new TaskInProgress[numMapTasks]和reduces = new TaskInProgress[numReduceTasks];
TaskTracker调用顺序:main --> new TaskTracker在其构造方法中调用了initialize方法,在initialize方法中调用RPC.waitForProxy得到一个jobtracker的代理对象
接着TaskTracker调用了本身的run方法,--> offerService方法 --> transmitHeartBeat返回值是(HeartbeatResponse)是jobTracker的指令,在transmitHeartBeat方法中InterTrackerProtocol调用了heartbeat将tasktracker的状态通过RPC机制发送给jobTracker,返回值就是JobTracker的指令
heartbeatResponse.getActions()得到具体的指令,然后判断指令的具体类型,开始执行任务
addToTaskQueue启动类型的指令加入到队列当中,TaskLauncher又把任务加入到任务队列当中,--> TaskLauncher的run方法 --> startNewTask方法 --> localizeJob下载资源 --> launchTaskForJob开始加载任务 --> launchTask --> runner.start()启动线程; --> TaskRunner调用run方法 --> launchJvmAndWait启动java child进程
1 切片数量==mapper数量(作业有多少个切片就有多少个maper)
决定切片大小的因素:
InputFormat (反射实例化 newInstance)
从配置文件(maperd-default.xml)里取 SPLIT_MAXSIZE 的值 没有
minsize=1 maxsize=2的63方-1
=====================
块的大小blockSize(128M)minSize(1) maxSize(2的63方-1) 决定
//默认切片大小和block块的大小相等 切片大小=Math.max(minSize,Math.min(maxSize,blockSize))
//正常一个切片对应一个块 不需要跨网络读取数据 增加速度
/aaa
a.txt 129M b.txt 1k
3个block块 3个mapper
=========================
shuffle过程:
1个切片对应一个mapper,mapper将数据写入环形缓冲区 环形缓冲区默认是100M 当达到阈值80%时 会将数据溢写到磁盘(1先分区 2对每个分区数据排序(分区且排序的小文件) 3再合并为一个大文件(相同分区号的数据合并)再排序 分区且排序的大文件)
2 按照k2合并 向上级领导(MrAppMaster)汇报
3 reduce(reduce到mapper 端取数据)有个线程 不停的
0 号reduce 取0号分区的数据
1号reduce 取1号分区的数据
reduce合并 排序 计算 写回到hdfs中
======================================
1.实现分区的步骤:
1.1先分析一下具体的业务逻辑,确定大概有多少个分区
1.2首先书写一个类,它要继承org.apache.hadoop.mapreduce.Partitioner这个类
1.3重写public int getPartition这个方法,根据具体逻辑,读数据库或者配置返回相同的数字
1.4在main方法中设置Partioner的类,job.setPartitionerClass(DataPartitioner.class);
1.5设置Reducer的数量,job.setNumReduceTasks(6);
2.排序MR默认是按key2进行排序的,如果想自定义排序规则,被排序的对象要实现WritableComparable接口,在compareTo方法中实现排序规则,然后将这个对象当做k2,即可完成排序
3.combiner的作用就是在map端对输出先做一次合并,以减少传输到reducer的数据量。
4.MR启动流程
start-mapred.sh --> hadoop-daemon.sh --> hadoop --> org.apache.hadoop.mapred.JobTracker
Jobtracker调用顺序:main --> startTracker --> new JobTracker 在其构造方法中首先创建一个调度器,接着创建一个RPC的server(interTrackerServer)tasktracker会通过PRC机制与其通信
然后调用offerService方法对外提供服务,在offerService方法中启动RPC server,初始化jobtracker,调用taskScheduler的start方法 --> eagerTaskInitializationListener调用start方法,
--> 调用jobInitManagerThread的start方法,因为其是一个线程,会调用JobInitManager的run方法 --> jobInitQueue任务队列去取第一个任务,然后把它丢入线程池中,然后调用-->InitJob的run方法
--> jobTracker的initJob方法 --> JobInProgress的initTasks --> maps = new TaskInProgress[numMapTasks]和reduces = new TaskInProgress[numReduceTasks];
TaskTracker调用顺序:main --> new TaskTracker在其构造方法中调用了initialize方法,在initialize方法中调用RPC.waitForProxy得到一个jobtracker的代理对象
接着TaskTracker调用了本身的run方法,--> offerService方法 --> transmitHeartBeat返回值是(HeartbeatResponse)是jobTracker的指令,在transmitHeartBeat方法中InterTrackerProtocol调用了heartbeat将tasktracker的状态通过RPC机制发送给jobTracker,返回值就是JobTracker的指令
heartbeatResponse.getActions()得到具体的指令,然后判断指令的具体类型,开始执行任务
addToTaskQueue启动类型的指令加入到队列当中,TaskLauncher又把任务加入到任务队列当中,--> TaskLauncher的run方法 --> startNewTask方法 --> localizeJob下载资源 --> launchTaskForJob开始加载任务 --> launchTask --> runner.start()启动线程; --> TaskRunner调用run方法 --> launchJvmAndWait启动java child进程