我使用以下命令启动pyspark./bin/pyspark --master yarn --deploy-mode client --executor-memory 5g
我得到以下错误
^{pr2}$
出于某种原因,我也收到了这个信息ERROR cluster.YarnClientSchedulerBackend: Yarn application has already exited with state FINISHED!
以及WARN remote.ReliableDeliverySupervisor: Association with remote system [akka.tcp://sparkYarnAM@192.168.1.112:48644] has failed, address is now gated for [5000] ms. Reason: [Disassociated]
也许这就是为什么我的SparkContext停止了。在
我使用的是Spark 1.5.1和Hadoop 2.7.1和Yarn 2.7.7。在
有人知道为什么纱线应用程序在任何事情发生之前就退出了吗?在
更多信息,这是我的纱线-站点.xml在
yarn.nodemanager.resource.memory-mb
26624
yarn.scheduler.minimum-allocation-mb
1024
yarn.scheduler.maximum-allocation-mb
26624
yarn.nodemanager.vmem-pmem-ratio
2.1
这是我的地图-站点.xml在
mapreduce.map.memory.mb
2048
mapreduce.map.java.opts
-Xmx1640M
Heap size for map jobs.
mapreduce.reduce.memory.mb
16384
mapreduce.reduce.java.opts
-Xmx13107M
Heap size for reduce jobs.