WINDOWS 10环境下的PySpark配置 （基于Anaconda环境，附加不重启情况下环境变量Path修改方式）

最新推荐文章于 2024-08-06 17:39:11 发布
最新推荐文章于 2024-08-06 17:39:11 发布
阅读量2.2k 收藏 8
点赞数 1
分类专栏： 环境配置 数据挖掘 文章标签： Spark 数据挖掘 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sjtu_mc/article/details/80550135
版权
本文详细介绍了在Windows 10系统中，如何配置基于Anaconda环境的PySpark，包括Python、JDK、Spark、Scala、Hadoop的安装和环境变量设置，特别提醒不要使用JDK 10.0.1，推荐使用Java SE Development Kit 8u171。此外，文章还提供了不重启系统即可激活环境变量的方法。
摘要由CSDN通过智能技术生成

由于需要帮老婆完成课程作业，在ubuntu和win 10上都做了spark环境的配置，其中ubuntu环境的配置比较简单，网上教程也较多，但是win 10系统的教程中，往往忽略了很多问题，因此以下对win环境中的配置做一总结。

环境配置过程主要包括：
- Python
- JAVA (JDK)
- Spark
- Scala
- Hadoop
- 环境变量的设置
- PySpark

Python

本文使用的python环境为Anaconda环境，主要考虑的是Anaconda的集成度比较好。下载地址为：Anaconda，外网下载比较慢的话推荐：清华镜像。建议安装中将Python路径添加入Path。

JDK

JAVA的配置基本可以参照Spark在Windows下的环境搭建这篇博客。JAVA下载地址为：JAVA。

极为重要的一个点，一定不要安装最新的10.0.1，会导致后续的scala和spark都无法正常使用。目前我安装的版本为：

最低0.47元/天 解锁文章
Chaos_92
关注
专栏目录
windows10环境下用anaconda和VScode配置的图文教程
01-20
最新的Anaconda3-5.1.0-Windows-x_64.exe版本中在安装的时候已经打包好了vscode，就是在anaconda3安装完成之后，会提示你是否要安装vscode，然后勾选就可以完成vscode的安装。 Anaconda3-5.1.0-Windows-x_64.exe下载...
太详细了，在 Windows 上安装 PySpark 保姆级教程
m0_59596937的博客
12-12 7469
在本文中，我将和大家一起学习如何在 Windows 上安装和运行 PySpark，以及如何使用 Web UI 启动历史服务器和监控 Jobs。
win10环境下通过anaconda安装pyspark
Lcy__6的博客
02-08 2471
通过命令安装pyspark，速度非常快。
Windows系统之环境变量
最新发布
YJ_12340的博客
08-06 3086
Windows环境变量是操作系统用于存储与系统运行相关的值或配置信息的名称-值对。它们用于控制应用程序和操作系统行为，类似于一组全局的设置或配置。环境变量可以影响系统的许多方面，例如文件搜索路径、临时文件存储位置、用户和系统设置等。
win10下配置pyspark
weixin_71864688的博客
11-04 1227
尝试在win上使用pyspark,结合各方资料,在各种出错情况下成功安装,记录下步骤
Path环境变量的配置
m0_46983541的博客
09-23 2万+
Path环境变量的配置 一、配置环境变量的原因： 开发Java应用程序的过程中，要使用JDK提供的开发工具，而开发工具在JDK安装目录的bin目录下，配置Path环境变量是为了方便实用“java”和“javac”命令。不然直接用会报错。 二、Path环境变量配置的过程： 右键“我的电脑”，点击“属性”，弹出“控制面板”主页，点击“高级系统设置” 选择“高级”，点击“环境变量” 在弹出窗口里，“系统变量”里点击“新建”，弹出“新建系统变量”窗口后，按图示输入相关信息，此处“变量名”为“JAVA_HOME
配置path环境变量
weixin_73879495的博客
05-08 2673
在弹出窗口里，“系统变量”里点击“新建”，弹出“新建系统变量”窗口后，按图示输入相关信息，此处“变量名”为“目录的bin目录下，配置Path环境变量是为了方便实用“java”和“javac”命令。找到“系统变量”中的“Path”，点击“编辑”。弹出页框点击“新建”，输入“右键“我的电脑”，点击“属性”，弹出“控制面板”主页，点击“高级系统设置。按“win+R”，输入“cmd”，输入“java”和“然后一路点击“确定”，完成功能配置。选择“高级”，点击“环境变量””,“变量值”为浏览目录选择的"
Windows下PyCharm配置Anaconda环境(超详细教程)
09-16
在Windows操作系统上，使用PyCharm作为Python开发环境并配置Anaconda是许多数据科学家和开发者常用的方法。PyCharm是一款强大的Python集成开发环境（IDE），提供了丰富的代码编辑、调试、测试和版本控制功能。而...
PATH系统环境变量配置步骤【图文教程】
zy1992As的博客
08-07 1816
当在命令行窗口运行一个命令时，操作系统首先会在当前目录下查找是否存在该命令对应的可执行文件，如果未找到，操作系统会继续在PATH环境变量中定义的路径下寻找这个文件，如果仍未找到，系统会报错。右键单击桌面上的计算机→属性，在弹出的系统窗口左边选择“高级系统设置”选项，弹出系统属性对话框，在系统属性对话框的“高级”选项卡下单击“环境变量”按钮，弹出“环境变量”对话框。在命令行窗口中执行javac命令，如果能正常地显示帮助信息，说明系统PATH环境变量配置成功，这样系统就会永久性地保存PATH环境变量的设置。
windows10设置环境变量Path详细步骤
热门推荐
flame_007的博客
05-28 3万+
1、鼠标右键“我的电脑”，点击“属性”，打开控制面板窗口，如图： 2、点击“高级系统设置”，弹出设置窗口，如图： 3、点击底部的“环境变量”，弹出环境变量窗口，如图： 4、在下面的“系统变量”一栏，找到“Path”，并选中它,然后点击“编辑”，弹出编辑窗口，如图： 5、在编辑环境变量窗口，点击“新建”，把路径填进去即可 6、最后，一路点击“确定”，完成配置 ...
PATH系统环境变量配置教程【图文步骤】
CZ-001的博客
08-23 3389
CLASSPATH环境变量用于保存一系列类包的路径，它和PATH环境变量的查看与配置方式完全相同。当Java虚拟机需要运行一个类时，会在CLASSPATH环境变量定义的路径下寻找所需的.class文件和类包。为了让Java虚拟机能找到所需的class文件，就需要对CLASSPATH环境变量进行设置，保存HelloWorld.class文件路径。在命令行窗口执行下面的命令。执行完上述命令之后，再次执行java HelloWorld命令运行程序。
path环境变量设置
qq_39885150的博客
09-16 293
如果是运行自己后面下载的程序，如变成软件，如要运行Java软件，输入Java则会显示不是内部****之类的运行不了。主要作用是能够让系统快速启动一个应用程序。当用户输入一个命令时，系统会在path指定的路径中搜索可执行文件，以确定命令所对应的可执行文件位置。因为txt软件是系统自带的，已经有配置好path路径，可以输入程序名便可以直接运行，自己下载的软件编写的程序需要设置好path后才可以。path可以在计算机（右键）-属性-高级设置-高级-环境变量（N）-环境变量（S）-新建添加。
PATH环境变量
qq_47607743的博客
05-04 691
例如，如果你安装了一个新的软件，通常需要将该软件的可执行文件路径添加到PATH环境变量中，这样你就可以在任何位置通过命令行启动它。当你在命令行中输入一个命令时，系统会在这些路径中查找对应的可执行文件。总的来说，PATH环境变量在Windows系统中起着至关重要的作用，它确保了用户能够在不同位置执行命令，而无需记住每个程序的具体安装路径。此外，如果系统在所有PATH中的路径都未找到对应的可执行文件，那么系统会显示“命令未找到”的错误信息。当在命令行中输入一个命令时，系统会在这些路径中查找可执行文件。
配置Path环境变量
m0_60800747的博客
12-04 400
为什么没有设置环境变量也能直接使用javac，java等工具，因为他自动配置了一个环境变量C:\Program Files\Common Files\Oracle\Java\javapath，但是这个路径中的工具很少，只有java，javac，javaw，jshell，不够用，所以手动配置jdk环境变量，可将自动配置的删掉。经常要打开的文件，每次打开的时候要切换盘符，进入多层文件夹，非常麻烦，配置环境变量的作用就是在任何目录下都可以直接打开你想要的文件。把经常使用的文件的路径记录在path环境变量中。
windows系统快速搭建pyspark环境（Anaconda）炒鸡简单
weixin_39030764的博客
11-05 3010
刚开始我尝试在Windows系统和Ubuntu系统单独配置spark hadoop ，发现很是复杂，尤其在环境配置等方面总是出现一些问题不好解决，所以我采用了另一种思路，发现特别快速和简介，相比和我一样想快速使用spark的小伙伴都已经迫不及待了！ 总体思路是首先下载anaconda，然后再用anaconda下载pyspark，然后一切就完成了！ 1.下载Anaconda 此篇只尝试了win...
Win10下jupyterbook跑pyspark的详细配置方法（亲测有效）
码上就会
06-24 1752
需要准备JDK、Spark和Anaconda。 一、JDK配置。 注意：一定要下载并安装JDK1.8开头的版本。 1.安装完成后，在此电脑上右键单击，然后在弹出的菜单上选择“属性”，会打开控制面板主页。 2.在控制面板，单击高级系统设置，会打开系统属性选项卡 3.在系统属性选项卡上，单击环境变量，会弹出环境变量设置面板。 3.在环境变量设置面板中，新建或编辑JAVA_HOME系统变量，C:\JDK18241是我的JDK安装目录。完成后点击确定返回环境...
win10 安装单机版 pyspark
蕾姆的博客
12-29 1047
参考这篇博客： https://blog.csdn.net/weixin_38556445/article/details/78182264 默认已经电脑已经安装java 和 python。 1  需要安装spark 和 hadoop （python3.6 需要spark2.1以上版本） 两者作相同处理：解压之后，还需要完成SPARK_HOME和bin环境变量相关配置；HADOOP_HOME...
Windows下Anaconda安装pyspark
yyxyyx10的博客
07-05 6034
可能大多数人和我一一样，使用笔记本，一般是windows系统，但想学习spark，不想装Linux或虚拟机，其实windows也可以直接用spark，然后百度查询出很多spark在windows安装的教程，绝大多数是先让安装Java，然后是scala，接着是spark，最后还有Hadoop，还要注意Java和scala的版本兼容问题，还要注意scala与spark版本兼容问题，还要注意...
Windows环境下安装Anaconda与配置环境变量教程
"windows下安装anaconda的教程并在系统中配置环境变量" Anaconda是针对数据科学家和Python开发者的开源Python发行版，它包含了众多科学计算所需的库和工具，如conda、Python以及numpy、pandas等。Anaconda的大容量...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值