win10 python spark ml(pyspark)安装

1.    安装python环境，自己google吧
2.    安装jdk8, jdk-8u191-windows-x64.exe 如果本地安装的10，那么就请 切换至8，这点必须的。
3.    安装pyspark
4.    安装 Hadoop和 spark
spark-2.3.2-bin-hadoop2.6.tgz
hadoop-2.6.4.tar.gz
解压的时候，最好使用 管理员权限 进行解压
这一点要保证 Hadoop版本一致，
还有一点 必须要注意，pyspark版本必须要与 本地安装的spark版本一致
5.    那就是 设置 JAVA_HOME，HADOOP_HOME以及SPARK_HOME环境变量的问题了，分别指向对应的安装路径即可
6.    还有一个步骤，就是下载 winutils.exe这个文件
路径 ：https://github.com/steveloughran/winutils/tree/master/hadoop-2.6.4/bin
下载后，将该 文件 放在 Hadoop的bin 目录下面，同时创建 c:\tmp\hive文件夹，
之后，管理员打开 cmd：
输入： Hadoop路径\bin\winutils.exe chmod 777 c:\tmp\hive
7.    以上步骤ok后，最好是 重启一下 电脑。
8.    管理员打开 cmd
输入：spark-shell
之后 会出现 spark的版本提示，基本就 ok了，或者 继续输入
scala>sc
返回 res0:org.apache.spark.SparkContext= org.apache.spark.SparkContextxxxxx
这也说明安装 ok了，
9.    现在可以 使用 pyspark了 

其中，步骤6 是参考了 其它 的安装方法，记不清链接了

大家相互学习，相互进步

另外大家 也可以 关注我的 知乎：https://zhuanlan.zhihu.com/albertwang

 

也可以关注微信公众号：

下面是赞赏码