公众号后台回复关键字:pyspark,获取本项目github地址链接。
一,搭建本地pyspark单机练习环境
以下过程本地单机版pyspark练习编程环境的配置方法。
注意:仅配置练习环境无需安装hadoop,无需安装scala.
1,安装Java8
下载地址:https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
注意避免安装其它版本的jdk否则可能会有不兼容spark的情况。注意设置JAVA_HOME,并添加它到默认路径PATH中
WINDOWS下安装jdk8详细教程可以参考:
https://www.cnblogs.com/heqiyoujing/p/9502726.html
安装成功后,在命令行中输入 java -version,可以看到类似如下的结果。
2,下载解压spark
spark官网下载: http://spark