Pycharm配置Spark避坑指南

最新推荐文章于 2023-09-30 10:55:19 发布
VIP文章 最新推荐文章于 2023-09-30 10:55:19 发布
阅读量749 收藏
点赞数
分类专栏： Python学习笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/metatronxl/article/details/79267935
版权

PS：本文建立在使用Mac或者linux系统的基础上，也不建议使用window系统进行spark配置=_=

安装JAVA环境

这部没啥好说的吧，上网搜java安装一大把。
切记配置java全局变量

vim ~/.bash_profile

然后输入

export JAVA_HOME=$(/usr/libexec/java_home)
安装scala

这里推荐Mac党首选工具brew
可以省去你配置全局变量以及管理包这一影响效率的过程
- 安装scala的命令

brew install scala

安装完成后用

$ scala -version

查看是否安装成功

安装Spark

这里有一个坑一定要注意，
不要用brew去安装spark！！！
不要用brew去安装spark！！！
不要用brew去安装spark！！！

因为brew安装完的所有的包地址都在

$ /usr/local/Cellar/

里面，这意味着你在pycharm执行命令会有权限问题的产生

所以我们采用去官网下载包的方式: P

http://spark.apache.org/downl
最低0.47元/天 解锁文章
Meyayron
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
pycharm windows spark 环境的安装
10-19
在windows下配置spark环境，并读取hdfs文件，anconda spark pycharm
python中导入pyspark中的sparkconf和sparkcontext错误
Dandelin的博客
09-17 1952
解决过程：通过everything软件快捷搜索磁盘找到pyspark目录，发现有conf.py和context.py两个文件，猜测与导入的包有关联，用pycharm打开conf.py发现在其中创建了Sparkconf的类。解决方法1：直接将将源py文件的from pyspark import Sparkconf,Sparkcontext改为 from pyspark import conf,context 成功。
Pycharm配置Spark环境时候遇到的几个问题
weixin_44454100的博客
08-11 877
原因一般就是import的包版本不对导致的，我本人的Linux环境spark版本为3.2.0，而pycharm里面pyspark包的版本却是latest的3.4.1版本，说白了货不对板导致的。原因就是Windows和Linux的用户名不一致，由于，Hadoop的权限验证是依靠Linux系统的，而用户名不一致，会报错。
sparkconf 无法自动导入_无法导入SparkContex
weixin_39920338的博客
12-19 1122
我在CentOS上工作，我已经设置了$SPARK_HOME，还添加了$PATH中bin的路径。我可以在任何地方运行pyspark。但是当我试图创建python文件并使用此语句时from pyspark import SparkConf, SparkContext它抛出以下错误python pysparktask.pyTraceback (most recent call last):File "p...
PYCHARM连接SPARK的配置
donger__chen的博客
05-24 346
PYCHARM连接SPARK 新增环境变量 SPARK_HOME PYSPARK_HOME PYTHONPATH 配置方式 pycharm --> run --> edit configurations --> environment -> environment variables --> user environment variables 新增SPARK_HOME、PYSPARK_HOME、PYTHONPATH($SPARK_HOME/python/lib/py4j-
NameError: name ‘SparkConf‘ is not defined解决
qq_46061082的博客
05-31 1739
关于在notebook中报错的一个问题的解决 报错如下： NameError Traceback (most recent call last) <ipython-input-1-3f07a3d84249> in <module> 3 import pyspark 4 ----> 5 conf=SparkConf().setAppName("wordcount") 6 sc=S
PyCharm搭建Spark开发环境的实现步骤
09-18
主要介绍了PyCharm搭建Spark开发环境的实现步骤，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
详解Pycharm与anaconda安装配置指南
09-16
主要介绍了详解Pycharm与anaconda安装配置指南,本文通过图文并茂的形式给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
pycharm编写spark程序，导入pyspark包的3中实现方法
09-18
主要介绍了pycharm编写spark程序，导入pyspark包的3中实现方法,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
解决PySpark导入Python的问题
qq_46179411的博客
09-30 392
解决PySpark导入Python的问题。
在pycharm上配置pyspark
klord109的博客
12-10 1541
1 前提：已经安装了pycharm，下载了spark（官网下载，我下的是spark-2.1.1-bin-hadoop2.7.tgz，解压缩后为文件夹spark-2.1.1-bin-hadoop2.7，我将文件放在了/Applications/spark/下，这个文件夹里面有python文件，python文件下还有两个压缩包py4j-some-version.zip和pyspark.zip，之后会用...
sql 语句优化实战
qq_43192537的博客
08-22 1313
sql 语句优化实战
spark如何解决文件不存在_SparkContext错误-找不到文件/tmp/spark事件不存在
weixin_39682477的博客
12-22 1389
通过API调用运行Python Spark应用程序-提交应用程序时-响应-失败SSH到工人中我的python应用程序存在于/root/spark/work/driver-id/wordcount.py错误可以在/root/spark/work/driver-id/stderr显示以下错误-Traceback (most recent call last):File "/root/wordcount...
PySpark 使用过程中遇到的典型问题及处理办法
珍妮的选择的博客
07-31 2014
PySpark 使用过程中遇到的典型问题及处理办法 前言 不知道为啥, 现在写博客总得弄点前言, 观者无不叹息为何生命中宝贵的 20 秒钟要浪费在这无意义的前言上 ???????????? 好吧, 就是想水点文字, 今天是 7 月的最后一天, 距离零点还有 1 个小时左右, 我想抓住 7 月的尾巴, 再水篇博客, 在 7 月份完成两篇~ 原本是想分享论文的, 但还在酝酿当中. 思来想去, 最快达到目的的方法就是记录一些平时的笔记, 哈哈… 下面的内容考虑在 PySpark 使用过程中, 遇到的一些问题以及处
pyspark导入，解决pyspark无法直接使用问题（linux版）
OWBY_Phantomhive的博客
03-23 4037
文章目录scala安装一、软件解压二、配置环境变量三、验证Spark安装一、解压二、添加环境变量三、修改启动变量文件四、启动Spark五、验证Python3.7安装**注意**一定严格按照流程，最好配置前备份虚拟机，python安装后出问题，卸载比较麻烦1、安装依赖包2、下载python3.7.0源码，根据需求下载1）下载2）解压Python-3.7.0.tgz3）建立一个空文件夹，用于存放python3程序4）执行配置文件，编译，编译安装5）建立软连接6）测试一下python3Pycharm破解解压压缩包
win10/mac pyspark环境安装；java环境安装
weixin_42357472的博客
10-11 529
1、主要是java 8、spark、hadoop安装（下载下来的tar包win解压记得下war给下管理者权限，参考https://blog.csdn.net/juhua2012/article/details/82215729） java 8安装（下载：https://www.cr173.com/soft/79926.html）， hadoop3.0（下载：https://archive.apac...
python—spark本地安装及环境变量配置
Sun_shine99的博客
04-20 3816
Spark和Hadoop的关系是，Hadoop的MapReduce是大家广为熟知的计算框架，而Spark则是一种新的计算框架。比如，textFile("/usr/local"), textFile("/usr/local/.txt"), textFile("/usr/local/.gz")1.如果使用了本地文件系统的路径，那么，必须要保证在所有的worker节点上，也都能够采用相同的路径访问到该文件，比如，可以把该文件拷贝到每个worker节点上，或者也可以使用网络挂载共享文件系统。（注意最前面的圆点）
Windows下Pycharm的Spark、Hadoop、Scala安装及常见报错（graphframes避坑、jupyter的文件位置更换、conda环境建立）
soberld的博客
07-24 2219
环境 jdk1.8.0_333 python3.7.13 scala2.11.8 hadoop2.7.1 spark2.4.3-bin-hadoop2.7
PySpark数据分析基础：pyspark.SparkConf核心类详解+代码示例
master_hunter的博客
11-09 1616
PySpark数据分析基础系列文章更新有一段时间了，其中环境搭建和各个组件部署都已经完成。借此征文活动我将继续更新Pyspark这一大块内容的主体部分，也是十分重要且比较难懂不易编程的部分。在从事大数据计算以及分析的这段历程中，陪伴我最多的也就是anaconda和Jupyter了，当然此次演示还是用到这些工具，文章紧接此系列的上篇文章内容。此系列文章将被纳入我的专栏一文速学系列-Pyspark大数据分析实战，基本覆盖到数据分析日常业务以及常规的机器学习预测回归以及pyspark出表方方面面的问题。
pycharm配置spark运行环境
最新发布
03-15
PyCharm是一款功能强大的Python集成开发环境（IDE），可以方便地配置和管理Spark运行环境。下面是配置PyCharm与Spark的步骤： 1. 安装Java Development Kit（JDK）：首先，确保你已经安装了JDK。你可以从Oracle官网...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值