Spark疑问1之如何查看sparkContext没有关闭的sc

最新推荐文章于 2021-09-01 16:54:06 发布

KeepLearningBigData

最新推荐文章于 2021-09-01 16:54:06 发布

阅读量8.4k

点赞数

分类专栏： spark 文章标签： Spark疑问1之如何查看sparkCo

本文链接：https://blog.csdn.net/xubo245/article/details/51173463

版权

spark 专栏收录该内容

70 篇文章 27 订阅

订阅专栏

更多代码请见：https://github.com/xubo245/SparkLearning

Spark疑问1之如何查看sparkContext没有关闭的

在跑完spark程序后有时会忘记执行sc.stop

hadoop@Master:~/cloud/testByXubo/spark/hs38DH/package$ ./cluster.sh 
fq0.count:105887                                                                
Method 1=> Length:2971 sum:7888989 time:34715ms
Method 2=> Length:2971 sum2:7888989 time:5665ms
Method 3=> Length:2971 sum3:7888989.0 time:1362ms
16/04/17 14:15:21 WARN QueuedThreadPool: 2 threads could not be stopped

如何查看集群中没有关闭的sc的数量？

这会不会影响集群的内存或者其他性能？