Pycharm配置Spark避坑指南

最新推荐文章于 2024-07-01 07:15:00 发布

Meyayron

最新推荐文章于 2024-07-01 07:15:00 发布

阅读量796

点赞数

分类专栏： Python学习笔记

本文链接：https://blog.csdn.net/metatronxl/article/details/79267935

版权

本文主要介绍了如何在Mac或Linux系统上配置PyCharm与Spark的集成，强调了避免使用brew安装Spark的原因，并提供了详细的配置步骤，包括安装JAVA环境、Scala、从官网下载Spark并解压、配置环境变量，以及在PyCharm中添加内容根和配置环境变量。文章还提及了使用brew安装Spark可能出现的问题和测试配置是否成功的标准。

摘要由CSDN通过智能技术生成

PS：本文建立在使用Mac或者linux系统的基础上，也不建议使用window系统进行spark配置=_=

安装JAVA环境

这部没啥好说的吧，上网搜java安装一大把。
切记配置java全局变量

vim ~/.bash_profile

然后输入

export JAVA_HOME=$(/usr/libexec/java_home)

安装scala

这里推荐Mac党首选工具brew
可以省去你配置全局变量以及管理包这一影响效率的过程
- 安装scala的命令

brew install scala

安装完成后用

$ scala -version

查看是否安装成功

安装Spark

这里有一个坑一定要注意，
不要用brew去安装spark！！！
不要用brew去安装spark！！！
不要用brew去安装spark！！！

因为brew安装完的所有的包地址都在

$ /usr/local/Cellar/

里面，这意味着你在pycharm执行命令会有权限问题的产生

所以我们采用去官网下载包的方式: P

http://spark.apache

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Meyayron

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

Spark 原理与代码实例讲解

程序员光剑

07-23

666

Spark 原理与代码实例讲解作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 1. 背景介绍 1.1 问题的由来随着大数据时代的到来，数据量呈爆炸式增长，传统的数

Spark原理与代码实例讲解

最新发布

程序员光剑

07-28

230

Spark原理与代码实例讲解作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 1. 背景介绍 1.1 问题的由来随着大数据时代的到来，数据量呈指数级增长，传统的数据处

参与评论您还未登录，请先登录后发表或查看评论

pycharm配置spark

xiaokang06的专栏

04-22

800

pycharm 配置spark 在Run->Configuration->Defaults->Python->Environment variables下，配置： PYTHONPATH /home/xxx/software/spark-2.1.0-bin-hadoop2.7/python:/home/xxx/software/spark-2.1.0-bin-hadoop2.7/pyth

如何在pycharm中配置Spark

weixin_33700350的博客

05-08

518

因为作业要用到这个SPARK和python, 就着手开始配置，但是搜了一圈还是发现了不少雷。就把我自己的解决办法发上来：打开pycharm,导入已有的或者新建工程。2.创建新的run configurition。如右上角所示，选择edit configurition。设置环境，创建PYTHONPATH和SPARK_HOME配置路径如...

摸鱼大数据——Spark基础——Spark集群Standalone模式+PyCharm远程开发配置

weixin_65694308的博客

07-01

508

远程连接方案, 允许所有的程序员都去连接远端的测试环境, 确保大家的环境都是统一的, 避免各种环境问题的发生,而且由于是连接的远程环境, 所有在pycharm编写代码都会自动上传到远端服务器中, 在执行代码的时候, 相当于是直接在远端环境上进行执行操作。可以配置为Base环境，也可以配置为其他的虚拟环境, 但是目前建议配置为Base环境，因为Base环境自带python包更全面一些。Standalone的模式是Spark自身进行资源和任务的管理，不借助任何的第三方的工具。4- 接收Spark任务的请求。

pycharm中配置spark

qq_40285736的博客

06-09

308

在本机上安装和配置好spark环境 2.之后在setings中项目结构中导入py4j和pyspark的包包路径为C:\spark-2.2.0-bin-hadoop2.6\python\lib 3.配置环境 4.配置成功

PyCharm 使用 Spark

一蓑烟雨任平生的专栏

02-01

4854

Step 1 搭建spark 环境，spark 环境搭建请参考在单机上安装Spark Step 2 进入spark安装目录：spark安装目录/python/lib 找到 py4j-0.8.2.1-src.zip 压缩包，如下图所示解压缩 py4j-0.8.2.1-src.zip 压缩包得到名为 py4j 的文件夹复制 py4j 文件夹到python目录下python的

pycharm 配置 spark环境

malingyu的专栏

07-07

1038

右上角Add content root添加：py4j-some-version.zip和pyspark.zip的路径，这两个文件都在spark-2.4.5-bin-hadoop2.7\python\lib文件夹中。新建系统变量SPARK_HOME：E:\dju_softwares\DSJ_gz\spark-2.4.5-bin-hadoop2.7。添加PATH值：E:\dju_softwares\DSJ_gz\spark-2.4.5-bin-hadoop2.7\bin。

Pycharm 快捷键整理

墨鱼菜鸡

07-11

651

From：http://www.cnblogs.com/themost/p/6900370.html Pycharm 版本控制之本地 Git 用法：https://blog.csdn.net/u013088062/article/details/50350520 Pycharm 中文指南：http://pycharm.iswbm.com/zh_CN/la...

Learning Apache Spark with Python.pdf

09-27

该教程涵盖了在Databricks社区云、Mac、Ubuntu以及Windows平台上配置Spark的方法。在设置开发环境时，可选择使用文本编辑器或集成开发环境（IDE），如PyCharm或Jupyter Notebook。PySparkling Water是结合了Apache ...

spark学习及环境配置

JarvisLau的博客

04-14

780

pycharm windows spark 环境的安装

10-19

在windows下配置spark环境，并读取hdfs文件，anconda spark pycharm

PYCHARM连接SPARK的配置

donger__chen的博客

05-24

361

PYCHARM连接SPARK 新增环境变量 SPARK_HOME PYSPARK_HOME PYTHONPATH 配置方式 pycharm --> run --> edit configurations --> environment -> environment variables --> user environment variables 新增SPARK_HOME、PYSPARK_HOME、PYTHONPATH($SPARK_HOME/python/lib/py4j-

在win10上为pycharm配置spark

Kobe_1314的博客

06-02

664

最近实验室给了我一个基于spark的大数据项目，光是在Linux系统上搭建起一个spark的local版本就有不少坑（版本、环境变量...）。另外，实验室之前的代码都是用python写的，所以我就上手了一下pyspark在python上的配置，emmm，我看网上的教程，大部分都没有解决我的问题，在经过不断的尝试后，终于配置起来了。下面我就来总结一下，既是给我自己做一个备份，也是给大家填一下坑。 ...

PyCharm搭建Spark开发环境

mudooo的博客

09-01

5912

1.1 安装好JDK 下载并安装好jdk1.7，配置完环境变量。 1.2 Spark环境变量配置去http://spark.apache.org/downloads.html网站下载相应hadoop对应的版本，我下载的是spark-1.6.0-bin-hadoop2.6.tgz，spark版本是1.6，对应的hadoop版本是2.6 解压下载的文件，假设解压目录为：D:\Spark-1.6....

在 PyCharm(汉化版)2021搭建Spark

weixin_60263012的博客

10-19

1429

在spark中创建word.txt文件并在其中输出内容(内容随意)这里创建文件在spark的/usr/local/datas/word.txt中,如果在创建中遇到权限问题可以选择给文件赋予权限或者在创建文件命令前加上sudo。在python输入下面内容进行测试pycharm搭建spark是否成功，注:下面代码中有个路径需要修改为自己的路径。添加python解析器变量，在同步文件夹中建议在spark中创建一个文件来存放，本地项目路径可以使用默认。这里的解析器修改为spark环境中的解析器，不是本地的解析器。

sql 语句优化实战

qq_43192537的博客

08-22

1335

sql 语句优化实战

Pycharm连接远端Python环境操作Spark

weixin_37536020的博客

06-24

1150

远程连接方案, 允许程序员连接远端测试环境, 确保环境的统一, 避免各种环境问题的发生,而且由于是连接的远程环境, 所有在Pycharm编写的代码都会自动上传到远端服务器, 在执行代码的时候, 相当于是直接在远端环境上运行。

pycharm spark 环境配置

TreasureNow的专栏

01-16

415

一. 安装 py4j sudo pip install py4j 二. Pycharm Run 环境设置 Run -> Edit Configrations -> Enviroment Virables 三. Enviroment Virables 变量 SPARK_HOME, PYTHONPATH, PYTHONUNBUFFERED 四. 开发编译目录

pycharm配置spark运行环境

03-15

PyCharm是一款功能强大的Python集成开发环境（IDE），可以方便地配置和管理Spark运行环境。下面是配置PyCharm与Spark的步骤： 1. 安装Java Development Kit（JDK）：首先，确保你已经安装了JDK。你可以从Oracle官网...