python空指针异常_尝试启动PySp时出现空指针异常

我使用以下命令启动pyspark./bin/pyspark --master yarn --deploy-mode client --executor-memory 5g

我得到以下错误

^{pr2}$

出于某种原因，我也收到了这个信息ERROR cluster.YarnClientSchedulerBackend: Yarn application has already exited with state FINISHED!

以及WARN remote.ReliableDeliverySupervisor: Association with remote system [akka.tcp://sparkYarnAM@192.168.1.112:48644] has failed, address is now gated for [5000] ms. Reason: [Disassociated]

也许这就是为什么我的SparkContext停止了。在

我使用的是Spark 1.5.1和Hadoop 2.7.1和Yarn 2.7.7。在

有人知道为什么纱线应用程序在任何事情发生之前就退出了吗？在

更多信息，这是我的纱线-站点.xml在

yarn.nodemanager.resource.memory-mb

26624

yarn.scheduler.minimum-allocation-mb

1024

yarn.scheduler.maximum-allocation-mb

26624

yarn.nodemanager.vmem-pmem-ratio

2.1

这是我的地图-站点.xml在

mapreduce.map.memory.mb

2048

mapreduce.map.java.opts

-Xmx1640M

Heap size for map jobs.

mapreduce.reduce.memory.mb

16384

mapreduce.reduce.java.opts

-Xmx13107M

Heap size for reduce jobs.