standlone 集群模式下 ,提交应用后,可以在浏览器中输入 spark://master:8080
查看执行情况
yarn集群模式下,提交应用程序
提交后 ,可以在tracking URL 中查看记录
如下图:
ps:在 spark-shell中 系统默认会生成一个 sparkContext,也就是sc 可以直接拿来用。
不必像在编写应用程序时,自己代码去生成。
ps:grep 管道函数,过滤只展示 跟“Pi is roughly”相关的信息
standlone 集群模式下 ,提交应用后,可以在浏览器中输入 spark://master:8080
查看执行情况
yarn集群模式下,提交应用程序
提交后 ,可以在tracking URL 中查看记录
如下图:
ps:在 spark-shell中 系统默认会生成一个 sparkContext,也就是sc 可以直接拿来用。
不必像在编写应用程序时,自己代码去生成。
ps:grep 管道函数,过滤只展示 跟“Pi is roughly”相关的信息