Spark 提升spark1.6提交任务速度+配置spark2.x后hiveserver2运行失败

spark提升提交任务速度

在spark-defaults.conf中配置一句

spark.yarn.jar=hdfs:///lib/spark-assembly-1.6.3-hadoop2.6.0.jar

并把jar包上传到配置的位置，可以避免每次提交任务都重新上传
在spark1.6版中，看启动的控制台日志可以发现，每次提交任务到yarn都会从本地上传一遍此jar包

配置spark2.x后hiveserver2运行失败

提示找不到assembly jar包
原因：spark1.6版assembly jar包在lib目录下，而2.X版没有lib目录，改成了jars，在bin/hive 下修改寻找assembly的路径，修改为寻找jars下所有的jar包