PyCharm搭建Spark开发环境&windows下安装pyspark

塞上江南o

已于 2022-10-30 22:55:39 修改

阅读量3.3k

点赞数

分类专栏： software 文章标签： spark

于 2020-08-24 15:16:04 首次发布

本文链接：https://blog.csdn.net/qq_43192537/article/details/108199817

版权

software 专栏收录该内容

12 篇文章 0 订阅

订阅专栏

windows下安装pyspark

spark和hadoop版本版本之间有对应关系

安装jdk

在这里插入图片描述

安装hadoop

下载
hadoop-2.7.7.tar.gz
配置环境变量
不再演示
下载winutils.exe

https://github.com/steveloughran/winutils

选择对应的hadoop版本下载

在这里插入图片描述

复制winutils.exe到安装好的hadoop的bin目录下

在这里插入图片描述

安装spark

下载spark-2.4.6-bin-hadoop2.7.tgz

配置环境变量

安装Anaconda3.7

国内下载和安装配置

配置环境变量
复制py4j和pyspark

在这里插入图片描述

将D:\spark-2.4.6-bin-hadoop2.7\python\lib下两个包（pyspark.zip，py4j.zip）解压缩后拷贝到D:\Anaconda\libsite-packages目录下,然后全部替换

测试

打开cmd输入pyspark

在这里插入图片描述

输入语句

sc.parallelize(["b", "a", "c"]).collect()

在这里插入图片描述

PyCharm搭建Spark开发环境

上一标题是前提

在pycharm中随便建一个python文件
配置

在这里插入图片描述

在这里插入图片描述
PYSPARK_PYTHON：python路径
SPARK_HOME:spark路径

在这里插入图片描述

测试程序

from pyspark import SparkConf, SparkContext

conf = SparkConf().setMaster("local").setAppName("myapp")
sc = SparkContext(conf=conf)
print(sc.parallelize([1, 2, 3]).collect())

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

塞上江南o

关注关注

0
点赞
踩
27

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

在 PyCharm(汉化版)2021搭建Spark

weixin_60263012的博客

10-19

1429

在spark中创建word.txt文件并在其中输出内容(内容随意)这里创建文件在spark的/usr/local/datas/word.txt中,如果在创建中遇到权限问题可以选择给文件赋予权限或者在创建文件命令前加上sudo。在python输入下面内容进行测试pycharm搭建spark是否成功，注:下面代码中有个路径需要修改为自己的路径。添加python解析器变量，在同步文件夹中建议在spark中创建一个文件来存放，本地项目路径可以使用默认。这里的解析器修改为spark环境中的解析器，不是本地的解析器。

Spark在Windows下的环境搭建及pyspark的使用

m0_61831106的博客

01-03

2918

1、将Spark目录下的pyspark文件夹（D:\Spark\spark-2.2.0-bin-hadoop2.7\python\pyspark）复制到要使用的python环境的安装目录（E:\APP\python3.7.0\Lib\site-packages）里。最好解压到一个盘的根目录下，并重命名为Spark，简单不易出错。并且需要注意的是，在Spark的文件目录路径名中，不要出现空格和中文，类似于“Program Files”这样的文件夹名是不被允许的，我放的位置是D:\Spark。

参与评论您还未登录，请先登录后发表或查看评论

在 PyCharm 上配置 PySpark

HeatDeath的博客

08-20

903

1、在pycharm上配置pyspark https://blog.csdn.net/rifengxxc/article/details/74503119 2、使用PyCharm配置Spark的Python开发环境 https://blog.csdn.net/ydc321/article/details/78903240 3、使用PyCharm配置Spark的Python开发环境 htt...

pycharm运行pyspark

最新发布

weixin_40954098的博客

07-06

178

pycharm上进行pyspark编程

qq_43979159的博客

11-06

3076

windows下在pycharm上进行pyspark编程确保已经在windows下安装完spark,hadoop,python,java，并且能使用 1、打开pycharm，打开setting找到project structure选项，找到spark\python\lib下的两个包导入，记得要apply和ok。 2、找到project interpreter选项，下载py4j，pysparrk 3、配置环境变量，点击edit configurations 如图所示，根据个人安装位置进行编辑

sql 语句优化实战

qq_43192537的博客

08-22

1335

sql 语句优化实战

pycharm 配置 spark环境

malingyu的专栏

07-07

1038

右上角Add content root添加：py4j-some-version.zip和pyspark.zip的路径，这两个文件都在spark-2.4.5-bin-hadoop2.7\python\lib文件夹中。新建系统变量SPARK_HOME：E:\dju_softwares\DSJ_gz\spark-2.4.5-bin-hadoop2.7。添加PATH值：E:\dju_softwares\DSJ_gz\spark-2.4.5-bin-hadoop2.7\bin。

用Pycharm搭建pyspark开发环境

Anoraker的小屋

03-11

7257

安装配置Anaconda 这个我就不自己写了，找了个很详细的Anaconda 的安装教程。配置Hadoop 我们首先需要下载一个文件，我放到网盘网盘了如下所示。链接：https://pan.baidu.com/s/1DSzClPJyM5s6MpNx9sv2fA 提取码：pbke 下载解压之后，就可以就配置HADOOP_HOME的环境变量了，我的电脑上是吧文件都放在了E盘根目录下。右键此...

spark的python开发安装方式_PyCharm搭建Spark开发环境的实现步骤

weixin_39747807的博客

11-21

235

1.安装好JDK下载并安装好jdk-12.0.1_windows-x64_bin.exe，配置环境变量：新建系统变量JAVA_HOME，值为Java安装路径新建系统变量CLASSPATH，值为 .;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;（注意最前面的圆点）配置系统变量PATH，添加 %JAVA_HOME%bin;%JAVA_HOME%jr...

PyCharm搭建Spark环境

weixin_45343343的博客

03-28

795

准备工作 1.需要java环境和hadoop环境 2.去官网下载spark并解压（http://spark.apache.org/downloads.html）配置spark环境变量 1.配置SPARK_HOME，值为spark的解压安装路径。 2.配置Path，值为 %SPARK_HOME%\bin。 3.spark环境搭建完成，在cmd中输入pyspark测试能否正常启动。出现该spar...

PyCharm搭建Spark开发环境实现第一个pyspark程序

09-19

### PyCharm 搭建 Spark 开发环境与首个 PySpark 程序实现 ...通过上述步骤，我们不仅完成了PyCharm中的Spark开发环境搭建，还实现了第一个PySpark程序。这为后续更复杂的大数据分析任务打下了坚实的基础。

pycharm windows spark 环境的安装

10-19

在windows下配置spark环境，并读取hdfs文件，anconda spark pycharm

pycharm编写spark程序，导入pyspark包的3中实现方法

09-18

在使用PyCharm进行Spark程序开发时，正确导入pyspark包...希望上述内容能够帮助到正在使用PyCharm进行Spark程序开发的朋友们，通过本文介绍的三种方法，可以更加顺利地搭建开发环境，并编写出功能强大的Spark应用程序。

PyCharm搭建Spark开发环境

mudooo的博客

09-01

5912

1.1 安装好JDK 下载并安装好jdk1.7，配置完环境变量。 1.2 Spark环境变量配置去http://spark.apache.org/downloads.html网站下载相应hadoop对应的版本，我下载的是spark-1.6.0-bin-hadoop2.6.tgz，spark版本是1.6，对应的hadoop版本是2.6 解压下载的文件，假设解压目录为：D:\Spark-1.6....

Pycharm中搭建PySpark开发环境

一壶清茶的专栏

09-05

8010

文章目录前言一、本机环境二、PySpark安装步骤1.命令提示符中使用Anaconda创建虚拟环境2.使用以下命令查看Anaconda中创建的虚拟环境3.使用以下命令进入到新创建的虚拟环境中4.查找对应版本的PySpark版本，命令如下：5.安装PySpark6.测试PySpark库是否安装成功三、Pycharm开发环境搭建1.打开pycharm，File-->New Project2.创建项目3.配置项目运行环境4.项目中新建.py文件5.命名.py文件名6.编写Spark单词统计的代码7.解决Wa

pycharm 配置spark运行环境

Lucky-zhou的博客

04-22

1960

Date Fri 04 March 2016 TagsSpark /PyCharm /Python /pyspark 在本地搭建好Spark 1.6.0后，除了使用spark-submit提交Python程序外，我们可以使用PyCharm这个IDE在本地进行开发调试,提升我们的开发效率。配置过程也十分简单，在stackoverflow上搜索到的。同时，IntelliJ IDEA加入

pycharm中配置spark

qq_40285736的博客

06-09

308

在本机上安装和配置好spark环境 2.之后在setings中项目结构中导入py4j和pyspark的包包路径为C:\spark-2.2.0-bin-hadoop2.6\python\lib 3.配置环境 4.配置成功

pycharm配置spark

xiaokang06的专栏

04-22

800

pycharm 配置spark 在Run->Configuration->Defaults->Python->Environment variables下，配置： PYTHONPATH /home/xxx/software/spark-2.1.0-bin-hadoop2.7/python:/home/xxx/software/spark-2.1.0-bin-hadoop2.7/pyth

pycharm安装spark和pyspark

07-06

PyCharm是一款流行的集成开发环境（IDE），用于Python开发。要在PyCharm中安装Spark和Pyspark，你需要按照以下步骤操作： 1. **下载Spark**: 访问Apache Spark官网（https://spark.apache.org/downloads.html）下载适合你的操作系统和Python版本的Spark二进制包。 2. **安装Spark**: - 解压下载的文件到本地目录，比如`~/spark`。 - 配置环境变量，添加Spark的bin路径到`PATH`，以便系统能找到Spark命令行工具。 3. **安装PySpark**: - PySpark通常包含在Spark的安装包里，所以不需要额外安装。 - 如果需要单独安装，可以访问PyPI（https://pypi.org/project/pyspark/）查找最新版的pyspark wheel，并使用pip进行安装： ``` pip install --no-cache-dir pyspark ``` 4. **配置PyCharm**: - 打开PyCharm，选择"File" -> "Settings" (Windows/Linux) 或 "Preferences" (macOS)。 - 在设置窗口中，导航至"Project Interpreter"。 - 如果还没有添加，点击"+"图标，然后浏览找到并选择已经安装的PySpark解释器。 5. **验证安装**: - 创建一个新的Python项目，尝试导入`pyspark.sql.SparkSession`，如果能成功导入并且创建SparkSession，说明安装和配置都正确。