使用python操作spark
1.使用命令行
在PySpark命令行中,一个特殊的集成在解释器里的SparkContext变量已经建立好,变量名叫做sc,创建自己的SparkContext不会起作用。
* 可以通过–master参数来设置这个上下文连接的master主机
* 也可以通过–py-files参数
使用python操作spark
在PySpark命令行中,一个特殊的集成在解释器里的SparkContext变量已经建立好,变量名叫做sc,创建自己的SparkContext不会起作用。
* 可以通过–master参数来设置这个上下文连接的master主机
* 也可以通过–py-files参数