MapReduce之job提交过程源码分析-03

MapReduce序列化即案例演示-02

https://blog.csdn.net/kxj19980524/article/details/89282996

下面源码分析是在上面这个案例上进行的.

可以看到这里动态代理生成一个本地job对象,因为在driver中第一行没填什么配置信息,默认连接的就是本地 

这个是提交job的具体方法

当输出路径存在时它就会抛出这个异常

退出来到提交job方法

它会创建这么一个路径,原先是没有的,会在idea在哪个盘下,它就会在哪个盘下创建

给job生成一个id

在这个方法里提交一些文件和jar包

这个方法里就是提交一些文件和jar包,在本地的话不需要,因为已经有了,在yarn上运行的话就需要了

当这个方法执行完的时候就会在刚才生成的路径下创建jodid文件夹

这个方法是生成切片信息的

这个方法就是具体生成多个个切片的逻辑

声明了两个变量最小值为1,最大值为long的最大值

它会遍历这个路径下有几个文件,按照文件进行分片.

分片大小

是根据这个算法进行文件分片的,所以可以根据调节minSize和maxSize的大小来决定每片的大小

这个是分为几片,文件的大小/片的大小如果大于1.1那么就再进行分片

这个方法执行完后就在这个路径下生成了分片信息了 

因为我这里就一个文件并且大小不够128兆所以只分了一片,如果是多个文件的话就是多片,它这是按照文件个数然后再根据文件大小进行分片的.

这个是往里写配置信息的

以上操作只是提交job的过程,这句代码提交后,才开始mapreduce程序,也就是mapper,reducer程序

最后它会把生成的那些文件删除掉