08：采用Hadoop YARN管理器运行Spark应用程序

1. 在集群中运行应用程序jar包
   

程序运行中出现下图时，将图中链接copy到浏览器可以看到应用程序运行情况：


直到出现下图，再次根据图中链接，在浏览器查看程序运行情况：



参考：
https://blog.csdn.net/SunnyYoona/article/details/126065601
https://blog.csdn.net/weixin_34221332/article/details/89651253
如果出现Resources are low on NN. Please add or free up more resources then turn off safe mode manually. 是因为空间不足，需要删除一些不用的文件（谨慎操作），可以参考：https://blog.csdn.net/a2011480169/article/details/51802488
如果报错：org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory，是因为安全模式是HDFS所处的一种特殊状态，在这种状态下，文件系统只接受读数据请求，而不接受删除、修改等变更请求，可以参考：https://blog.csdn.net/qq_39622065/article/details/86602588
2. 在集群中运行spark-shell
先关掉安全模式

此处也可能出现内存不足或安全模式的问题，按照前面的参考文献修改即可。出现下面的画面，就可以提交scala应用程序了：



4. 从本地传文件到hdfs，然后再spark-shell环境下计算文档的行数和返回第一行
创建本地文件/home/hadoop/test.txt，内容自拟。在hdfs上创建文件夹testSpark，上传文件到hdfs：


访问master:8088，查看集群信息：

查看应用程序（运行中查看）
查看job

查看Executor