大数据基础平台——YARN资源调度

1.实验目的

了解与熟悉YARN及其常用操作。

2.实验内容及结果截屏

（1）YARN常用操作

①提交应用

yarn jar <JAR文件> [<主类名>] <参数> ...命令用于提交JAR文件类型的应用：

②查看或杀死应用

使用pyspark命令启动一个Spark应用：

新启动一个终端，使用yarn application -list命令列出所有应用，默认列出状态为SUBMITTED（已提交）、ACCEPTED（已接收）和RUNNING（运行中）的应用：

 使用选项appStates进一步选择列出已完成（FINISHED）的应用：

 使用yarn application -status查看应用状态，后跟之前得到的正在运行的应用标识符：

使用yarn application -kill杀死应用，后跟之前得到的正在运行的应用标识符：

切换到启动Spark的终端，可以看到如下消息表示该应用已经被杀死：

③YARN网页界面

打开浏览器，输入http://localhost:8088，访问资源管理器网页界面：

 3.实验分析及小结

       在此次实验过程中，我了解了YARN资源调度，并初步掌握了YARN的常用操作。在实验过程中，我因粗心而发生了一些问题。

       例如在列出所有应用时，教程中让重新打开一个终端，而我由于没有注意到这句话，而直接在spark中输入了语句，因此报错。

 

       再例如在查看应用状态时，语句后跟的应该是的得到的正在运行的应用标识符，而我直接将教程给出的语句输入，故报错。

       在之后的实验中，我会更加认真地学习、理解代码，同时尽可能减少粗心导致的错误。