How to Install pyspark on Windows

最新推荐文章于 2024-11-14 09:21:17 发布
最新推荐文章于 2024-11-14 09:21:17 发布
阅读量132 收藏
点赞数
文章标签： 大数据 apache spark python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/construc/article/details/118116091
版权

现在是2021年6月，我在网上能搜到的教程或博客都是离现在有一段时间了的，老教程最让人头疼的就是版本选择问题，我前前后后大概花了10个小时才把pyspark装好，中间还去翻了翻命令行的原理，甚至一度想转linux了。总之是想在这里给出我的版本选择，希望能帮到 最近 要装pyspark的朋友

PYSPARK on WINDOWS = Python3.8(Anaconda) + JDK1.8.0_291 + Hadoop2.7.1 + Spark3.1.2-bin-hadoop3.2 + Scala-2.13.1

请务必重视版本的选择，在遇到问题后网上很多教程都说降版本，我自己经历了把所有软件依次换成低版本又逐个换回高版本最终解决了问题的经历

一、Anaconda & Python（默认大家都装了，Python选择3.8）
二、JDK

Java SE Development Kit 8 — 下载 | Oracle 中国

在这里插入图片描述

安装过程略。推荐安装路径：D:\Java\jdk1.8.0_291

装在Program File下面可能会导致其环境变量被其它配置文件使用时产生歧义，虽然不是什么大问题，也有进一步的解决方案。但正是反复与小问题周旋才会耗尽人的意志力

设置一下环境变量：

  • win10直接在左下角搜索“环境”，第一个搜索结果就是环境变量

    在这里插入图片描述
    在这里插入图片描述

  • 在系统变量栏中新建或选中已有变量进行编辑：

    变量名变量值
    JAVA_HOMED:\Java\jdk1.8.0_291
    CLASSPATHD:\Java\jdk1.8.0_291\lib
    PATHD:\Java\jdk1.8.0_291\bin

    变量名下的多个取值用 ; 隔开；在设置了JAVA_HOME后，后面的变量值可以部分被%JAVA_HOME%替代，比如CLASSPATH的变量值可以改为%JAVA_HOME%\lib。要注意的是，编辑PATH时，界面以列表形式展示，若PATH的第一个变量是以 % 开头，则会导致编辑PATHs时以分号隔开的一整行的形式来展示。

在这里插入图片描述

三、Hadoop

Apache Hadoop

在这里插入图片描述

直接点官网的Download，只能看到3个比较新的版本，为了下老版本，要在Community栏目下的左侧的Latest News下翻找对应版本。下载2.7.1是为了适配后面的hadooponwindows。

安装后配置环境变量：

变量名变量值
HADOOP_HOMED:\hadoop\hadoop-2.7.1
PATHD:\hadoop\hadoop-2.7.1\bin; D:\hadoop\hadoop-2.7.1\sbin

添加sbin路径是方便配置好后在任意路径都可以调用sbin\start-all.cmd以启用Hadoop

接下来进入 hadooponwindows 。

用该项目的bin文件替换掉我们电脑上Hadoop安装路径下的bin，并将bin\hadoop.dll复制到C:\Windows\System32中。

这样就安装好了，在cmd中执行以下语句以验证功能：

# 格式名称节点
hadoop namenode -format   
# 启动hadoop
start-all.sh

启动后将会打开4个新的cmd终端，分别是namenode，datanode，nodemanager和resourcemanager，这样说明安装成功。（然后关闭即可）
在这里插入图片描述

关闭前也可以在浏览器中用localhost:8088来打开Hadoop的资源管理器。
在这里插入图片描述

四、Spark

Downloads | Apache Spark

再次提醒版本问题，选择Hadoop2.7的话，无论搭python3.8还是python3.6都会出问题的

下载、解压、将安装路径设置环境变量，同样是设置SPARK_HOME和PATH，PATH只需添加%SPARK_HOME%\bin路径。

五、Scala

Scala 2.13.1 | The Scala Programming Language (scala-lang.org)

流程同Spark，略

六、Anaconda

要让Pyspark环境在Anaconda的jupyter notebook上运行，需要额外设置三个环境变量：

在这里插入图片描述

（最后一个我也还没太明白，怀着宁可信其有的态度加上去了）

如果用jupyter lab开发，将第二个变量值换为lab即可。

最后——在cmd中跳转到目标路径，输入pyspark，即可打开对应的工作环境了。
在这里插入图片描述

试试调用以下语句，尤其是像take()这样的rdd的动作，可以检查是否正确安装：
在这里插入图片描述

七、写在最后

越写越觉得挺没有技术含量的，好多简单的步骤都想跳过，不想像保姆一样每个操作画面都截图，很多操作是类似的。但是因为安装上的问题浪费时间则是件更没有意义的事情，为了（也许能）让其他人少跳坑所以还是发出来了。

无论你按照上述步骤安装是否成功，我都会推荐尝试这两件事：一是阅读所有软件的document，技术文档会指导软件包的使用和配置方式，好的技术文档则会表达出软件设计的价值；二是学习 Windows Command-Line 和阅读各个软件的bin\下的配置脚本，这些能帮助理解设置环境变量到底是在干什么，同时也能逐渐掌握写windows下的.bat脚本的能力。

对了，阅读cmd脚本的话，很推荐Sublime Text。以前觉得丑丑的软件，读起脚本来真香了。
在这里插入图片描述
学Windows Command-Line的时候又了解到了windows terminal，还有Windows支持的子系统WSL（可以直接装Ubuntu而不用开resource-hungry的虚拟机），等等。这些都是后话了，一篇里写不完而且已经偏题了，总之谢谢观看~
ows Command-Line的时候又了解到了windows terminal，还有Windows支持的子系统WSL（可以直接装Ubuntu而不用开resource-hungry的虚拟机），等等。这些都是后话了，一篇里写不完而且已经偏题了，总之谢谢观看~

-野蛮更迭
关注
使用 pyspark 进行 Classification 的简单例子 -- RandomForestClassifier
shiter编写程序的艺术
10-21 790
【代码】使用 pyspark 进行 Classification 的简单例子。
【spark床头书系列】PySpark 安装指南 PySpark DataFrame 、PySpark Pandas Api快速入门权威指南
wang2leee的博客
12-04 1477
PySpark是Apache Spark官方发布的一部分，可以在Apache Spark网站上获取。对于Python用户，PySpark还提供了从PyPI进行pip安装的方式。这通常适用于本地使用或作为连接到集群的客户端，而不是设置一个集群本身。
2.Spark Windows环境安装
.
06-14 649
spark Windows安装
Tutorial on how to install apache spark on Windows
DViewer的专栏
08-03 632
In this tutorial I will show you how I installed Apache Spark on windows and how I setup Ipython notebook to work with it. Before I begin with installing Spark, I have installed python. I used anac
Hadoop以及spark安装on windows
arlison的博客
12-23 207
厦大Hadoop安装（Linux）：http://dblab.xmu.edu.cn/blog/install-hadoop/ Java安装路径不能包含空格！！！ JAVA配置环境变量 使用Windows的软连接： 在Windows的命令终端（cmd）中，使用命令： 创建软连接： mklink /J C:\myJava “C:\Program Files\Java\jdk1.8.0_221” ...
大数据时代--windows下spark的安装与配置教程
Silence-wen
10-19 3万+
Spark作为一个基于内存的开源计算框架，在这个大数据时代背景下，受到越来越多的开发者的喜爱，相对于Hadoop,Spark拥有对大量数据更快的处理速度，并且易于使用（支持多种开发语言）。比Hadoop具有更多的优点，怎能不让人想去尝试一下Spark的魅力呢？ 了解Spark的都知道Spark是用Scala写的，那么要想在windows下来运行Spark少不了的就要先安装Scala。 首先的在一个
How to Install PySpark on Mac(Mac上安装PySpark)
u011868279的博客
05-09 1475
How to Install PySpark on Mac(Mac上安装PySpark)
window安装python3后怎么用pyspark_如何在Windows上的Jupyter Notebook中安装和运行PySpark...
weixin_42302418的博客
12-24 243
When I write PySpark code, I use Jupyter notebook to test my code before submitting a job on the cluster. In this post, I will show you how to install and run PySpark locally in Jupyter Notebook on Wi...
pyspark入门 中文官方文档
qq_34218221的博客
10-26 2454
pyspark入门
End-to-End Data Engineering System on Real Data with Kafka, Spark, Airflow, Postgres, and Docker
Nobigo
04-21 1077
【代码】End-to-End Data Engineering System on Real Data with Kafka, Spark, Airflow, Postgres, and Docker。
spark踩坑记——windows环境下spark安装和运行
热门推荐
蚂蚁搬家
08-10 5万+
本文主要记录windows系统上安装spark，scala，和intelj IDEA，并实现本地spark运行。同时介绍了利用maven构建工具对spark工程构建的方法。本地运行需要本地安装scala，spark，hadoop。而如果利用maven构建工具则只需要再maven的pom.xml配置好需要的scala，spark，hadoop版本信息，构建时自动导入相应依赖，常用于企业级的项目开发中......
二、Spark在Windows下的环境搭建
weixin_33898233的博客
03-26 3419
由于Spark是用Scala来写的，所以Spark对Scala肯定是原生态支持的，因此这里以Scala为主来介绍Spark环境的搭建，主要包括四个步骤，分别是：JDK的安装，Scala的安装，Spark的安装，Hadoop的下载和配置。为了突出”From Scratch”的特点（都是标题没选好的缘故），所以下面的步骤稍显有些啰嗦，老司机大可不必阅读，直接跳过就好。 　　 一．JDK的安装与环境变...
【亲测】windows 10 下安装spark
沈万三爱搬砖的博客
03-01 1万+
一.【前言】最近想要学习spark，所以打算在windows 10笔记本上搭建单机版spark环境，练习spark的基本使用。在此过程中遇到了许多头疼的问题，经过多方查询资料，总算搭建好了，具体流程梳理如下，希望能给你一些启示或是帮助。二.【工具准备】具体如下： 1. java: JDK 8u121 with NetBeans 8.2，你也可以下载单独的JDK 8u121，不带有IDE NetBe
大数据应用开发——实时数据处理（二）
最新发布
谁呛我名字的博客
11-14 177
大数据应用开发——实时数据采集大数据应用开发——实时数据处理Flink完成Kafka中的数据消费，将数据分发至Kafka的dwd层中hadoop，zookeeper，kafka，flink，hbase要开启目录并在HBase中进行备份。
RabbitMQ 与 PHP Swoole 实现
学习,分享一直在路上
11-12 1030
RabbitMQ 是一个开源的消息队列中间件，允许通过异步消息传递来解耦应用程序的各个部分。Swoole 是一个高性能的 PHP 扩展，支持异步编程和协程，适用于构建高并发的网络服务。将 RabbitMQ 与 Swoole 结合使用，可以构建高效、可扩展的应用程序。本文将介绍如何使用 RabbitMQ 和 PHP Swoole 实现一个简单的消息队列示例。使用 Docker 快速启动 RabbitMQ 实例
计算机毕业设计Python+Neo4j知识图谱医疗问答系统 大模型 机器学习 深度学习 人工智能 大数据毕业设计 Python爬虫 Python毕业设计
全网粉丝10W+、全栈领域优质创作者、掘金、阿里云等社区博客专家、专注于全栈领域和毕业项目实战
11-14 1482
计算机毕业设计Python+Neo4j知识图谱医疗问答系统 大模型 机器学习 深度学习 人工智能 大数据毕业设计 Python爬虫 Python毕业设计
大数据机器学习算法与计算机视觉应用02：线性规划
qq_35933041的博客
11-12 864
在零和博弈中，是概率和对应收益乘积的总和（收益给定），在最大流问题中，是通往终点所有流量的总和。卡马卡方法又被称作内部点方法，它寻找最优解的方法并非从可行域边界的一个顶点出发，而是从可行域内部的一个点开始。线性规划可以是没有边界的，但是一般都是可行的，否则目标函数无解。单纯形法从可行域的一个顶点开始，依次和附近的点比较，如果发现新的最大值，就进行迁移。在许多情况下，这个方程是没有精确解的，这个时候我们转而去计算最接近的解，也就是要求。的交点上，那么其中一个在最新的这一步出现的概率是多少呢？
蓝队技术学习
weixin_65861348的博客
11-12 993
该手册详细规定了在不同安全事件发生时应执行的标准操作程序，按安全事件类别进行了分类阐述。
how to install nnunet on windows
01-12
在Windows上安装nnUNet非常简单，只需按照以下步骤操作： 1. 安装Anaconda：首先，从Anaconda官方网站（https://www.anaconda.com/）下载适用于Windows的Anaconda安装程序，并按照指示进行安装。Anaconda是一个包含...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值