windows中pyspark搭建

 

 

1.使用findspark

1. 安装spark
2. 添加spark环境SPARK_HOME
3. 安装findspark（pip install findspark)
4. 使用
   1. import findspark
   2. findspark.init()
   3. from pyspark import SparkContext
   4. from pyspark import SparkConf

2.加载文件

1. 导入os和sys
2. 导入文件
   1. os.environ['SPARK_HOME'] = "E:\bigData\tar\spark-2.0.0-bin-hadoop2.7"
   2. sys.path.append("E:\bigData\tar\spark-2.0.0-bin-hadoop2.7/python")
   3. sys.path.append("E:\bigData\tar\spark-2.0.0-bin-hadoop2.7/python/lib/py4j-0.9-src.zip"）
   4. from pyspark import SparkContext
   5. from pyspark import SparkConf