PySpark安装教程

最新推荐文章于 2024-10-30 19:31:58 发布

weixin_45694975

最新推荐文章于 2024-10-30 19:31:58 发布

阅读量1.8k

点赞数

文章标签： spark

本文链接：https://blog.csdn.net/weixin_45694975/article/details/120241888

版权

本文详细介绍了在Windows环境下PySpark的安装步骤，包括JAVA SDK 1.8的安装、HADOOP的配置、SCALA的安装、Spark的安装以及在PyCharm中配置Pyspark环境的过程，特别提示了环境变量设置的重要性，以解决可能出现的命令执行错误。

摘要由CSDN通过智能技术生成

一、JAVA SDK 1.8
最好重新选择安装目录尽量安装在没有空格、中文的目录下
如果以前安装在默认目录下需要更改环境变量
环境变量配置
在这里插入图片描述

二、HADOOP 安装及配置
参考链接
https://blog.csdn.net/csj941227/article/details/78311317?

Windows环境下执行hadoop命令出现Error: JAVA_HOME is incorrectly set Please update D:\SoftWare\hadoop-2.6.0\con
参考链接
https://blog.csdn.net/weixin_43986204/article/details/90210010
三、SCALA安装
参考链接
https://www.cnblogs.com/zlslch/p/5881971.html
四、spark安装
参考链接
utm_term=hadoop2.6.5winutils&utm_medium=distribute.pc_aggpage_search_result.none-task-blog-2_allsobaiduweb~default-0-78