报错如下:
Initial job has not accepted any resources : Investigating the cluster state
查看spark的8080页面发现,两个任务资源不够用
(借用的图,忘记截屏了,但是意思一样)
![5903023-bfe905ae0c0dac7e.png](https://i-blog.csdnimg.cn/blog_migrate/b4a7318d39beea4bcff4c75a7cbeb5de.webp?x-image-process=image/format,png)
spark
主要是因为spark默认为应用有一个初始分配资源的配置,如果机器配置不合理,就会导致资源申请失败
需要修改spark-defaults.conf下的两个参数:
spark.deploy.defaultCores 1
spark.cores.max 2
注: spark.cores.max会将spark.deploy.defaultCores配置覆盖掉
![5903023-41c8f5787fd05c08.png](https://i-blog.csdnimg.cn/blog_migrate/51519fef400b3fd45a13af15fcac02fe.webp?x-image-process=image/format,png)
Paste_Image.png
修改之后重启spark集群,和thrift-server服务器
sbin/start-all.sh
sbin/start-thriftserver.sh --executor-cores 1 --executor-memory 512m
sbin/spark-sql --executor-cores 1 --executor-memory 1g
无奈的是,这里只有--executor-memory 生效了,--executor-cores 没生效,所以综合起来解决该问题的办法就是重新分配资源,资源包括内存和core核心数的分配。
更多配置,之后在详细了解。
效果图:
![5903023-a2e0a396de5e55e0.png](https://i-blog.csdnimg.cn/blog_migrate/52f7f701d9251d6bde42de2b0c3f5fca.webp?x-image-process=image/format,png)
Paste_Image.png
![5903023-df34d21033ce3033.png](https://i-blog.csdnimg.cn/blog_migrate/fb1ba29dd43ae491514de1f4be6244c4.webp?x-image-process=image/format,png)
spark-sql.png
![5903023-11a1719e4b26a59f.png](https://i-blog.csdnimg.cn/blog_migrate/a0734951d2fddfda45675f5657a6efee.webp?x-image-process=image/format,png)
thriftServer.png
参考如下:http://www.open-open.com/lib/view/open1451574185448.html