Spark-shell执行RDD操作时报Initial job has not accepted any resources问题解决过程

因为资源紧缺，用一台16G内存的虚拟机搭建了整套CDH6.1的大数据环境，全部服务启动后仅剩不到1G的内存了。
测试spark-shell时，在执行RDD的action类操作时总是报Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

网上查了一下前辈们的解决方法，在排除掉安装环境和网络环境后，基本判断可能是因为内存不足，导致无法创建Executor，就没有办法执行job。

首先检查yarn的配置“yarn.scheduler.maximum-allocation-mb”这个参数表示每个container能够申请到的最大内存，一般是集群统一配置，默认是2G。Spark中的executor进程是跑在container中，所以container的最大内存会直接影响到executor的最大可用内存。

其次，我的程序需要申请两个executor，因此两个executor的内容总和不应该超过2G，考虑到executor还会使用384M的JVM之外的内存（executorMemoryOverhead），因此要留出一些安全空间。

最后使用“[hdfs@master ~]$ spark-shell --executor-memory 512M"的指令启动spark-shell，问题解决！