Windows环境部署并调试pyspark(一)

 

准备：

windows环境说明：Python2.7 + pip
spark版本：spark-1.6.1-bin-hadoop2.6

step1:
下载并解压tar包到自定义的路径。（下载链接 https://d3kbcqa49mib13.cloudfront.net/spark-1.6.1-bin-hadoop2.6.tgz）

step2:
配置 %SPARK_HOME% 环境变量

 

step3:
拷贝pyspark对应的python工具包到python的安装路径下 "%PYTHON%/site-packages/"

step4:
使用PyCharm打开 "%SPARK_HOME%/examples\src\main\python"

 

step5:
运行pi.py并查看输出

　　至此，pyspark入门篇的windows环境搭建就完成了。 

注意：

1.运行时若出现“numpy”,“py4j”等依赖包找不到，自行使用pip进行安装即可（$ pip install xxx）;
2.当在进行部分模型的训练与加载出错时，需要到真实的unix环境进行对应代码的操作.

转载于:https://www.cnblogs.com/SeaSky0606/p/7694587.html