window安装python3后怎么用pyspark_大数据技术之python spark windows pycharm pyspark环境配置...

本篇教程探讨了大数据技术之python spark windows pycharm pyspark环境配置，希望阅读本篇文章以后大家有所收获，帮助大家对相关内容的理解更加深入。

1、下载

放在D盘

添加 SPARK_HOME = D:\spark-2.3.0-bin-hadoop2.7。并将 %SPARK_HOME%/bin 添加至环境变量PATH。

然后进入命令行，输入pyspark命令。若成功执行。则成功设置环境变量

找到pycharm sitepackage目录

右键点击即可进入目录，将上面D:\spark-2.3.0-bin-hadoop2.7里面有个/python/pyspark目录拷贝到上面的 sitepackage目录

安装 py4j

试验如下代码：from __future__ import print_functionimport sysfrom operator import addimport os# Path for spark source folderos.environ['SPARK_HOME'] = "D:\spark-2.3.0-bin-hadoop2.7"# Append pyspark to Python Pathsys.path.append("D:\spark-2.3.0-bin-hadoop2.7\python")sys.path.append("D:\spark-2.3.0-bin-hadoop2.7\python\lib\py4j-0.9-src.zip")from pyspark import SparkContextfrom pyspark import SparkConfif __name__ == '__main__':    inputFile = "D:\Harry.txt"    outputFile = "D:\Harry1.txt"    sc = SparkContext()    text_file = sc.textFile(inputFile)    counts = text_file.flatMap(lambda line: line.split(' ')).map(lambda word: (word, 1)).reduceByKey(lambda a, b: a + b)    counts.saveAsTextFile(outputFile)

计算成功即可

本文由职坐标整理发布，学习更多的相关知识，请关注职坐标IT知识库！