spark学习笔记

spark学习零碎笔记（web-ui）

问题：web-ui可以帮助我们更清楚看到spark的jobs的运行情况，但是刚开始跑spark（local模式）时发现一个疑问，就是用spark-shell运行时，web-ui会一直可以访问，但是关闭spark-shell，手动spark-submit提交job运行时，发现web-ui连接不上。
原因：运行spark-shell脚本时，里面的APP是一直在running，所以可以打开web-ui，但是手动spark-submit提交job，当job运行完毕，web-ui就会关闭，只有在提交的job正在运行过程中，才能连接上web-ui，完毕后就连接不上。