Hadoop YARN中内存的设置

        前两天将Spark(2.1)部署到YARN上之后，执行一个简单的分词程序，发现执行完Action 之后，Spark任务直接被Kill掉，然后退了出来。

        查了资料，没有找到是什么原因。今天重新整理Ubuntu 14 x64环境，配置完YARN后，将Spark以--master yarn 的模式运行，发现报错：

java.lang.IllegalStateException: Spark context stopped while waiting for backend
    at org.apache.spark.scheduler.TaskSchedulerImpl.waitBackendReady(TaskSchedulerImpl.scala:614)
    at org.apache.spark.scheduler.TaskSchedulerImpl.postStartHook(TaskSchedulerImpl.scala:169)
    at org.apache.spark.SparkContext.<init>(SparkContext.scala:567)
    at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2313)
......

        然后百度了下，有人说是因为Java 8 与 Hadoop 2.7.3 的YARN存在某些不兼容造成内存溢出，导致