光尘的博客

转载 Spark原理及参数

优点：让计算任务的中间结果可以存储在内存中，不需要每次都写入HDFS参考：https://www.iteblog.com/archives/1659.html一、Spark作业基本运行原理 详细原理见上图。我们使用spark-submit提交一个Spark作业之后，这个作业就会启动一个对应的Driver进程。根据你使用的部署模式（deploy-mode）不同，Driver...