spark
XP后花园
这个作者很懒,什么都没留下…
展开
-
spark分区数,task数目,core数,worker节点个数,excutor数量梳理
输入可能以多个文件的形式存储在HDFS上,每个File都包含了很多块,称为Block。当Spark读取这些文件作为输入时,会根据具体数据格式对应的InputFormat进行解析,一般是将若干个Block合并成一个输入分片,称为InputSplit,注意InputSplit不能跨越文件。随后将为这些输入分片生成具体的Task。InputSplit与Task是一一对应的关系。随后这些具体的...转载 2019-01-14 12:19:53 · 156 阅读 · 0 评论 -
spark中job,stage,task之间的关系
1. 什么是jobJob简单讲就是提交给spark的任务。2. 什么是stageStage是每一个job处理过程要分为的几个阶段。3什么是taskTask是每一个job处理过程要分几为几次任务。Task是任务运行的最小单位。最终是要以task为单位运行在executor中。3. Job和stage和task之间有什么关系Job----> 一个或多个stage--->...转载 2019-01-14 15:15:28 · 477 阅读 · 0 评论