- 博客(2)
- 收藏
- 关注
原创 spark-使用总结-2
1、partition数目spark的输入可能以多个文件的形式存储在HDFS上,每个File都包含了很多块,称为Block。当Spark读取这些文件作为输入时,会根据具体数据格式对应的InputFormat进行解析,一般是将若干个Block合并成一个输入分片,称为InputSplit,注意InputSplit不能跨越文件。随后将为这些输入分片生成具体的Task。InputSplit与Task是一一...
2018-05-06 17:42:15 512
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人