qq_31806205的博客

平台所有的Spark任务都是采用Spark on yarn cluster的模式进行任务提交的，driver和executor随机分配在集群的各个节点，pySpark 由于python语言的性质，所以pySpark项目的依赖注定不能像java/scala项目那样把依赖打进jar包中轻松解决问题。所以本文主要目标就是解决pySpark在分布式的情况下，如何优雅的解决项目中的依赖问题，目前总结出如下三种办法供大家使用。

一、概述通常用HDP+AMBARI安装的spark on yarn 模式可以正常使用，但是缺点是spark版本是HDP包中固定好的，极其不灵活，目标就是使用HDP+AMBARI安装的yarn ， 然后spark自己部署，保证自己安装的spark可以运行在ambari部署的yarn上面。二、 部署步骤1.进入/usr/hdp/2.5.3.0-37/hadoop-yarn/lib（hdp安装目...