Spark
奈斯Ekko
这个作者很懒,什么都没留下…
展开
-
Spark--Shuffle原理和Shuffle调优
shuffle调优配置项如何使用?在代码中,不推荐使用,硬编码:new SparkConf().set("Spark.shuffle.file.buffer", "64")在提交spark任务的时候,推荐使用:spark-submit --conf spark.shuffle.file.buffer= 64 -conf在conf下的spark-default.conf配置文...原创 2019-11-27 15:23:44 · 248 阅读 · 0 评论 -
Spark项目在IDEA上的部署的问题
Spark项目在IDEA上的部署的问题在Maven下部署Spark的问题总结一、 IDEA的的Scala插件安装二、关于Maven中pom.xml依赖添加在Maven下部署Spark的问题总结一、 IDEA的的Scala插件安装一、查看IDEA的版本号,我这里是2019.2.2然后到jetrbrains官网上找对应的插件,这里千万不要在插件里面直接搜scala安装链接: https:/...原创 2019-09-21 13:18:57 · 725 阅读 · 0 评论