pyspark 使用小记

使用pyspark时有时候会报错如下：

ValueError: Cannot run multiple SparkContexts at once; existing SparkContex…

这是因为spark不允许一次运行多个context，如果想重新实例化一个，需要关闭当前，随便搜一下这种报错解决方式：
首先执行:
sc.stop() ...
但是如果你是在shell中完成的，而且不凑巧也不记得实例化的名字了，（比如你喜欢用Spyder而且喜欢随意命名，还不喜欢翻历史记录），
你可以这么来：
sc = SparkContext._activate_spark_context sc.stop()