spark之(executor执行task原理分析)

1>taskscheduler将taskset分发到对应的executor上 2>executor调用executor.launchtask方法 3>在launchtask方法中会创建taskrunner来封装这些任务,将这些t...

2019-03-14 14:01:37

阅读数 75

评论数 0

spark默认的调度(fifo vs fair)

1>fifo(队列调度):fifo scheduler主要是将提交的作业放入到任务队列中,是一个先进先出的队列,在进行分配资源的时候,先给第一个任务分配足够的资源,才会给下一个任务分配资源,缺点是;当前面的任务需要大量的资源,后续的任务将没有资源可分配,处于一种阻塞状态,直到...

2019-03-14 11:24:46

阅读数 53

评论数 0

spark执行流程中(taskscheduler源码解释)

Dagscheduler将taskset提交给Taskscheduler,Taskscheduler主要做了哪些工作呢? 1>Taskscheduler会将这些taskset放到taskset的缓冲池中,并创建tasksetmanager对taskset进行生命周期的管理...

2019-03-14 11:04:09

阅读数 19

评论数 0

spark的执行流程(源码解说)

1>spark的作业主要是由rdd的action所触发作业的提交,根据提交作业构建DAG图。将作业提交给sparkcontxt,在sparkcontext会创建2个重要组件,一个是dagscheduler和taskscheduler组件。最终运行sc.runjob将作业提交给...

2019-03-14 10:39:04

阅读数 34

评论数 0

shuffle的读操作(shufflereducetask端与blockmanagerendpoint端点进行通信获取mapstats元数据信息)

shuffle的读操作: 1》主要是由shufflerdd的compute方法所触发 2》在compute方法中,调用shufflemanager,getread方法, 3》在该getread方法中会与blockmanagerendpoint中端点进行通信,获取到shufflem...

2019-03-14 10:03:21

阅读数 29

评论数 0

spark中stage的划分依据(hashshuffle和sortshuffle)

前面我们提到spark中夸依赖存在2种shuffle,一种是hashshuffle,另一种是sortshuffle 1>hashshuffle的核心思想 a:hashshuffle的maptask端会根据shufflereduceTask的数量在maptask端创建对应...

2019-03-13 22:43:02

阅读数 29

评论数 0

Spark基础(a:谈谈你对rdd的理解,b:stage的划分过程)

a: 1>弹性分布式数据集,不可变的数据集,所谓分布式:数据分布在不同的节点,并行计算,弹性:可以指定分区,可以进行数据缓存,并对数据指定不同级别的缓存, 2>数据是可以分区的,每一个分区都被映射成bolck,都有自己的block_id,被block...

2019-03-13 21:15:28

阅读数 24

评论数 0

java运行时区域划分(方法区,运行时常量)

1>方法区:与堆内存一样,是各个线程共享的内存区域,它用于存储已经虚拟机加载的类信息,静态变量,即是编译器编译后的代码等数据,虽然java虚拟机规范把方法区域描述为堆的一个逻辑部分,但是它却有意个别名,叫做Non-Heap(非堆),目的是为了将java堆和方法区区分开来. ...

2019-03-06 16:25:06

阅读数 30

评论数 0

java运行时内存区域(java堆)

对于大多数程序来说,java中所分配的最大内存区域是java中的堆,堆内存是被所有的线程所共享的,在虚拟机启动时候所创建 ,此区域的唯一目的就是为了存放java中的绝大部分的对象实列以及数组, java堆是垃圾收集器管理的主要区域,因此堆内存在这一层面上也可以叫为GC堆,现在的收集器都采用的是分...

2019-03-06 15:22:49

阅读数 34

评论数 0

java中运行时候区域(本地方法栈)

本地方法栈与虚拟机栈所发挥的作用是非常相似的,他们之前的区别不过是虚拟机栈为虚拟机执行java方法,而本地方法栈则为虚拟机使用到的native方法服务,与虚拟机栈一样,本地方法栈也存在2种异常情况,和虚拟机栈抛出的异常是一样的,分别为StackOverflowError和OutofMemoryEr...

2019-03-06 14:40:50

阅读数 21

评论数 0

Java(运行时区域内存之java虚拟机栈)

与程序计数器一样,java虚拟机栈也是java私有的部分,它的生命周期与线程相同,虚拟机栈描述而是java方法执行的内存模型,每个方法在执行的时候都会创建栈帧, 栈帧:主要用于存储局部变量表,操作数栈,动态链表,方法出口等信息,每一个方法从调用到执行完成的过程中,就对应着一个栈帧在虚拟机...

2019-03-06 13:58:40

阅读数 19

评论数 0

Java中的运行时候、的数据区域划分之程序计数器区域理论

在执行Java程序过程中会把它所管理的内存划分为若干个不同的数据区域,这些区域都有各自的用途,以及创建和销毁的时间,有的区域随虚拟机进程启动而存在,有的区域依赖用户线程的启动和结束而建立和销毁,根据Java7规划,将java运行时区域划分为以下部分,方法区,栈,虚拟机栈,本地方法栈,程序计数器, ...

2019-03-06 13:09:20

阅读数 33

评论数 0

Java中CopyonwriteArraylist的底层CocurrentHashmap和底层

1>ConpyonwriteArraylist实现(Arraylist的并发实现)      1>是Arraylist高并发的实现,是一种读和写分离的操作      写操作:先将数据拷贝到新的的数组中,在新的数组中进行写,写完之后去更新旧的数组, ...

2019-02-25 20:57:24

阅读数 37

评论数 0

java中Hashset,hashtable的底层实现原理

1>hashset底层 1>底层的数据结构:底层调用new hashmap(),和Hashmap具有相同的数据结构。  2>Hashset在进行存储元素时,元素不重复,通过调用底层的hash(key)得到在Hash表中的存储位置...

2019-02-25 01:19:21

阅读数 34

评论数 0

java集合中的fail-fast机制原理

fail-fast机制是java中的一种错误机制,早遍历集合的过程中,如果集合的结构倍修改,则抛出异常       1>单线程:在遍历集合的过程中,集合的结构发生了变化      2>在多线程的情况下,当一个线程在遍历集合的过程中,其他前程将该集合的...

2019-02-25 00:36:07

阅读数 20

评论数 0

java中的HashMap和linkedHashMap的底层实现

1>HashMap的底层实现            a:底层的实现是散列表(数组+链表)            b;put 操作时,首先会根据key进行hash(key)计算出在数组中的存储位置,如果该位置已经存在其他元素,将之前脸链表的数据往后推,该操作可能存在hash...

2019-02-24 23:46:22

阅读数 33

评论数 0

java中几个重要的集合

1>Arraylist底层实现原理       a:底层是基于动态数组实现,采用顺序存储结构,基于顺序的存储结构,内存空间是连续的,支持高效的随机访问数据,查询数据的时间复杂的为O(1),插入数据的时间复杂的为O(n),      b:默认创建的长度为10,在进行扩容的时...

2019-02-24 22:22:14

阅读数 28

评论数 0

Mapreduce中几种join的实现逻辑思想

在mapreduce中分为3大join逻辑,分别的是Map端的join,reduce端的join,semi  join       1>map 端的join实现逻辑:首先他会有2个map任务,第一个Map任务会将小表的数据完全加载到内存中,并且将数据映射成hashmap的数...

2019-02-23 21:31:57

阅读数 34

评论数 0

Mapreduce的执行流程思路

hadoop作为当今大数据学习的基础,其中最重要的组建mapreduce(即使引擎)是不可缺少的,他主要采用分而治之的思想,将一个整体大的文件,分解成多个小问题并行在不同的机器上去解决,在reudce端对个小问题的进行汇总,这就是mr         mr的执行流程思路如下map端:1&...

2019-02-23 19:55:02

阅读数 73

评论数 0

Hadoop中的yarn组建的几种资源调度策略

yarn中几种重要的的资源调度策略          1>fifo(队列调度策略):在数据结构中,我们学习了队列这种数据结构,遵循先进先出的原则,在资源调度也是队列这种数据结构的一种应用,当存在多个任务的需要去执行的时候,他们都存在于任务队列中,这种资源调度策略,首先会优先...

2019-02-23 01:20:44

阅读数 32

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭