Windows下Pycharm的Spark、Hadoop、Scala安装及常见报错（graphframes避坑、jupyter的文件位置更换、conda环境建立）

最新推荐文章于 2024-07-19 19:44:28 发布
最新推荐文章于 2024-07-19 19:44:28 发布
阅读量2.3k 收藏 17
点赞数 4
文章标签： pycharm spark hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/soberld/article/details/125941475
版权
本文详细介绍了在Windows操作系统下，如何安装配置PyCharm、JDK、Anaconda、Scala、Hadoop、Spark以及sbt，并解决了在安装过程中遇到的常见问题，如graphframes避坑、jupyter文件位置更换、conda环境建立等。此外，还指导了如何在PyCharm中创建Python项目，配置环境，并成功使用graphframes库。
摘要由CSDN通过智能技术生成

目录

软件安装

1、jdk安装

2、Anaconda安装

3、scala安装

4、Hadoop安装

5、Spark安装

6、安装sbt 

包安装

1、安装py4j

2、安装pyspark

接下来是新建python项目

1、项目配置

2、使用graphframes库

项目环境

jdk1.8.0_333

python3.7.13

scala2.11.8

hadoop2.7.1

spark2.4.3-bin-hadoop2.7

我参考过的博客  

软件安装

1、jdk安装

安装jdk1.8.0_333

链接：https://pan.baidu.com/s/1apVg0mYzHXDwEZcQvC0EgA 
提取码：6666

新建环境变量JAVA_HOME

值为jdk安装目录D:\soft\jdk1.8_64

PATH中添加%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin; 

2、Anaconda安装

安装步骤

链接：https://pan.baidu.com/s/1uBUecdMJH5UwQWH2gpjaAQ 
提取码：6666

选择给ALL User安装

 

 需要取消勾选以下两项

 环境变量配置

在PATH中添加

一定要注意这里，从Anaconda prompt打开 ，在开始那里会有的

 启动一下jupyter notebook

 更换存储位置可参考Jupyter notebook文件默认存储路径以及更改方法 - 数说张小桃 - 博客园

 安装成功截图

 

 创建虚拟环境conda创建虚拟环境_Programmor_的博客-CSDN博客_conda创建虚拟环境

 查看当前存在的虚拟环境conda info --envs

最低0.47元/天 解锁文章
soberld
关注
idea scala 与 pycharm python 如何 动态调试
shiter编写程序的艺术
11-18 1442
在pycharm 中动态调试python 在idea 中动态调试 scala 对与spark session 这种大型对象，我们想知道他里面的属性，方法值到底都有哪些呢？ python 这种动态类型的语言上面说了，可以方便调试，scala，java 这种编译类型的呢？ 我百思不得其解，其实现代编译器都是可以做到的。 答案就是右键：Evaluate Expression !!! 动态调用一下api 获取一下变量 ，成了！ 卓越提高生产效率有木有！ ...
Pycharm配置hadoop+spark环境（windows篇）
weixin_34221775的博客
03-09 2826
2019独角兽企业重金招聘Python工程师标准>>> ...
Pycharm插件使用
ashengz的博客
10-10 2043
pycharm导入插件
【完美解决】【python】 TypeError: ‘str‘ object cannot be interpreted as an integer
最新发布
qq_34419312的博客
07-19 5901
【完美解决】【python】 TypeError: 'str' object cannot be interpreted as an integer
Pycharm配置hadoop+spark环境（windows篇）-附件资源
03-02
Pycharm配置hadoop+spark环境（windows篇）-附件资源
pycharm sklearn安装_Spark数据工程｜专题（1）——引入，安装，数据填充，异常处理等
weixin_39550486的博客
11-21 631
大家好！写累了数学方面的笔记，今天写一点编程相关的，我们换换口味。本节主要是对最近使用Spark完成的一些工作做一些抽象和整理。Spark是一个大数据框架（不是一门新的计算机编程语言，而是一个系统，一个框架。如果拿Python实现，就是pyspark，拿scala实现，就是spark-scala等），是大数据开发的一项必备技能，因其分布式系统（distributed system）的实现而被广泛应...
pyspark TypeError: ‘JavaPackage‘ object is not callable
jzy3711的博客
12-29 5794
pyspark 初始化报错 问题 Python 3.7.10 (default, Jun 4 2021, 14:48:32) [GCC 7.5.0] :: Anaconda, Inc. on linux Type "help", "copyright", "credits" or "license" for more information. Warning: Ignoring non-spark config property: history.server.spnego.keytab.file=/et
Hadoop-Spark集群环境搭建及疏散星团NGC2266数据处理1
08-08
《大数据原理与应用》实验作业 2020/2021 年 第一学期：Hadoop/Spark 集群环境搭建及疏散星团NGC2266的数据处理 一、PySpark 环境搭建 1、Python（推荐使用 Anaconda+PyCharm） Python 是数据处理的基础，而...
Python安装spark
YFater的博客
10-12 3420
文章目录一.配置版本二.配置环境1.配置JDK2.配置Spark三.配置Hadoop 说明： 　　本文使用anconda+pycharm安装spark 一.配置版本 Java JDK 1.8.0_111 Python 3.9.6 Spark 3.1.2 Hadoop 3.2.2 二.配置环境 1.配置JDK 从官网下载相应JDK的版本安装，并进行环境变量的配置 （1）在系统变量新建JAVA_HOME，根据你安装的位置填写变量值 （2）新建CLASSPATH 变量值：.;%JAVA_HOME%\lib\
PySpark 相关基础知识
热门推荐
weixin_42331985的博客
04-12 1万+
主要介绍Pyspark相关的知识，Pycharm配置Spark，Conda管理Python环境
浅谈`AI`的那些事-环境搭建
qq_45205390的博客
02-24 901
为何人工智能(AI)首选Python？读完这篇文章你就知道了。我们看谷歌的TensorFlow基本上所有的代码都是C++和Python，其他语言一般只有几千行 。 如果讲运行速度的部分，用C++，如果讲开发效率，用Python，谁会用Java这种高不成低不就的语言搞人工智能呢？Python虽然是脚本语言，但是因为容易学，迅速成为科学家的工具（MATLAB也能搞科学计算，但是软件要钱，且很贵），从而积累了大量的工具库、架构，人工智能涉及大量的数据计算，用Python是很自然的，简单高效。
windows运行pyspark问题之return sc._jvm.SimplePythonFunction(TypeError: ‘JavaPackage‘ object is not callab
weixin_40061485的博客
07-20 245
(34条消息) spark python草稿_J-Ombudsman的博客-CSDN博客。
Windows 上面搭建 Spark + Pycharm/idea scala/python 本地编写Spark程序，测试通过后再提交到Linux集群上
CLHugh的博客
07-06 4466
Windows 上面搭建 Spark + Pycharm/idea scala/python 本地编写Spark程序，测试通过后再提交到Linux集群上
安装Scala环境
坚持才会胜利
11-21 426
一、win7环境安装 1.安装jdk 下载jdk，网盘地址：链接：https://pan.baidu.com/s/1KSwEl4JkhjNllMp28mqMqQ 提取码：jqvp 直接双击，安装到想要的环境目录 2.修改环境变量 2.1新建系统变量 JAVA_HOME 输入jdk安装目录 2.2 修改PATH 修改PATH：%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;...
window7下搭建PYCHARM+PYTHON+SPARK集成开发环境
snail_tail的博客
05-09 648
查看了很多博客和历史记录，没有一个能完整的解决自己碰到的问题，这里做个记录，方便有需要的人搭建自己的开发环境。 软件版本 hadoop 2.7.3 spark 2.2.1 scala 2.1.8 java 1.8 pycharm 2019.1 windows 7旗舰版 2.安装java1.8 配置环境变量 添加变量 JAVA_HOME 值为jdk目录 在path 追加...
Windows环境下安装pyspark环境常见错误及解决办法
quintind的专栏
06-10 4251
1、 Error：java.util.NoSuchElementException: key not found: _PYSPARK_DRIVER_CALLBACK_HOST 如果刚安装pyspark环境，运行测试程序时，弹出这个错误，很有可能是你安装软件的版本不匹配导致的。 例如: Java : jdk1.7 scala : 2.10 hadoop: 2.6 spark: spark-1.6.0...
在win10上为pycharm配置spark
Kobe_1314的博客
06-02 669
最近实验室给了我一个基于spark的大数据项目，光是在Linux系统上搭建起一个spark的local版本就有不少坑（版本、环境变量...）。另外，实验室之前的代码都是用python写的，所以我就上手了一下pyspark在python上的配置，emmm，我看网上的教程，大部分都没有解决我的问题，在经过不断的尝试后，终于配置起来了。下面我就来总结一下， 既是给我自己做一个备份，也是给大家填一下坑。 ...
windows环境使用PySpark遇到的一些问题
weixin_42130167的博客
03-23 557
1、报错：PyCharm运行demo文件时报错：py4j.protocol.Py4JError: org.apache.spark.api.python.PythonUtils.getPythonAuthSocketTimeout does not exist in the JVM。解决方案：下载 mysql-connector-java-8.0.22.jar 文件，并复制到 java 安装目录下的 jre/lib/ext 文件夹下。首先，spark，hadoop，java的相关部署在这不作详细说明。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值