windows64位在IDEA下配置pyspark环境

最新推荐文章于 2024-08-19 18:26:22 发布
最新推荐文章于 2024-08-19 18:26:22 发布
阅读量2.1k 收藏 3
点赞数
分类专栏： 学习实践与记录 文章标签： IDEA Python Spark 安装
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yulutian/article/details/80685188
版权
本文档详细记录了在Windows 64位系统中，使用IDEA进行pyspark环境配置的过程，包括安装Python、Spark、Hadoop，配置环境变量，以及解决winutils.exe问题和安装py4j库的步骤。
摘要由CSDN通过智能技术生成

之前一直在用scala，用IDEA配合maven使用，就没有在本地搭建spark环境，现在改用python，发现配置麻烦了很多，记录下，方便参考：
1）本地已经装好了JDK1.8，IDEA2017，scala2.11.8
2）先安装python，这里装的是2.7.15，下载地址：python安装包官网下载
安装后记得配置环境变量，命令行输入python，如下图所示即成功：
在IDEA中搜python插件安装，如果网络不好，需要手动下载安装

3）安装spark，安装包：spark
选好对应版本，点击下载：
这里写图片描述

如果只是在IDEA上开发的话，到这里就可以了

4）安装hadoop，在这里选择对应版本下载：hadoop下载
我下载的是2.6.4，因为2.6.0好像不支持JDK1.8
配置环境变量

5&

最低0.47元/天 解锁文章
布衣清水
关注
专栏目录
IDEA 编程环境配置
Night_X的博客
05-20 933
文章目录IDEA 编程环境配置自动导入方法分割显示效果配置位置关闭自动提示的大小写匹配[不严格按照大小写提示]设置回车字符类型设置tab键为4个空格设置文件头注释设置编码格式设置git设置mavenmaven及仓库路径加快maven获取jar包的速度设置默认jdk版本配置mysql数据库 IDEA 编程环境配置 自动导入 方法分割显示 效果 配置位置 关闭自动提示的大小写匹配[不严格按照大小写提示] 设置回车字符类型 设置tab键为4个空格 设置文件头注释 设置编码格式 设置git 设置m
IDEA环境的配置
weixin_44121079的博客
07-01 8246
一、首先我们进行Java环境的配置。 1.安装JDK 选择安装目录 安装过程中会出现两次 安装提示 。第一次是安装 jdk ，第二次是安装 jre 。建议两个都安装在同一个java文件夹中的不同文件夹中。一直点确定便可以 2.安装完JDK后配置环境变量 计算机→属性→高级系统设置→高级→环境变量 3.系统变量→新建 JAVA_HOME 变量 。变量值填写jdk的安装目录（本人是 C:\Prog...
IntelliJIDEA环境配置
最新发布
wangshanlong_的博客
08-19 1373
引言：工欲善其事必先利其器，开发前请务必配置好环境特别声明：该Idea以2019.3版本为例。
Idea环境配置
weixin_73757147的博客
10-16 6456
jdk环境配置
IDEA环境配置
weixin_58055885的博客
09-09 1万+
1.IDEA环境配置 1.1 项目环境搭建 1.1.1创建工程目录 说明: 创建一个目录,在其中编辑整个第三阶段的代码. 操守: 路径中不要出现中文/空格/特殊字符!!! 要求: 目录不要与其他的项目嵌套!!! 1.1.2 IDEA管理工作目录 1.项目环境说明 2. IDEA管理新的工作空间 使用File-Open 打开新的目录 1.2 IDEA环境配置 1.2.1 滚轮缩放 1.2.2 设定自动提示 说明: 配置该项之后.自动不区分大小写. 1.2.3 设置参数提...
idea环境配置
极客鼠之家
04-03 1287
需求：想要通过输入少量字符打印日志log.info或者log.warn这些内容，类似于sout输出函数System.out.println();1 打开idea软件2 进入设置 Ctrl+Alt+S3 输入live关键字-》找到live templates -》output4 选中output,右侧点击加号，新建模板，选中live template紧紧在java文件生效。
pyspark的intellij idea 环境搭建
u013402321的博客
10-22 4294
0.pyspark的windows7环境搭建 参考pyspark的windows7环境搭建，搭建windows7的环境 1.安装Maven，配置环境变量 Maven入门 (1).从Maven官网下载地址下载zip格式的软件包apache-maven-3.5.4-bin.zip 将压缩包解压到D盘某目录下即可(D:\Maven\apache-maven-3.5.4)。 (2).配置环...
Spark在Windows下的环境搭建
热门推荐
大气人生
10-19 13万+
由于Spark是用Scala来写的，所以Spark对Scala肯定是原生态支持的，因此这里以Scala为主来介绍Spark环境的搭建，主要包括四个步骤，分别是：JDK的安装，Scala的安装，Spark的安装，Hadoop的下载和配置。为了突出”From Scratch”的特点（都是标题没选好的缘故），所以下面的步骤稍显有些啰嗦，老司机大可不必阅读，直接跳过就好。
windows 10平台pycharm搭建pyspark
善皮之的博客
04-13 800
动机 我们都是python程序可以提交到spark平台上进行分布式计算，所以需求就来了，如何搭建一个pyspark环境，如果没有搭建成功可能会报各种各样的错误.，当自己写的pyspark程序明明没有错误还是会报错的话（初次使用的时候，我就是利用pycharm跑了一个spark官网上的python wordCount示例报错了），那么请检查一下自己的pyspark环境有没有搭建好 准备 spark...
windows10下spark2.3.0本地开发环境搭建-亲测
06-22
在Windows 10环境下搭建Apache Spark 2.3.0的本地开发环境，可以遵循以下步骤，无需使用Cygwin或虚拟机。本教程将基于指定的组件版本，包括Win10家庭版（64位），JDK 1.8.0_171，Hadoop 2.7.6，Spark 2.3.0，Scala ...
Java IDEA开发环境配置
11-27
自己总结的Java IDEA开发环境配置方法。每次使用IDEA配置Java开发，无论标准Java开发还是Spring相关开发，都需要重新配置。有了这个参考，配置就不再困难。
idea 环境变量配置
04-10
idea环境变量配置， idea环境变量配置， idea环境变量配置， idea环境变量配置
IDEA_环境配置
Self-impl
07-25 195
-- 一般配置项 File --> Setting --> 搜索栏中搜索后配置 -- 默认文件编码设置： File --> Settings --> Editor --> File Encodings（统一修改为UTF-8） -- 默认全局Java环境配置： File --> Other Settings --> Structure ...
环境配置之IDEA
君匡的博客
08-25 2605
这篇文章的作用么，主要还是方便自己未来重新参考的，发出来也是给伙伴们一些小小的建议，主观性比较大，所以不要引战，不要杠，要乖啊。
idea上搭建pyspark开发环境
qq_42409495的博客
10-17 1630
1 环境版本说明 python版本：Anaconda3.6.5 spark版本：spark-2.4.8-bin-hadoop2.7 idea版本：2019.3 2 环境变量配置 2.1 python环境变量配置 将python.exe所在的目录配置到path环境变量中 2.2 spark环境变量配置 下载spark安装包，我下载的是spark-2.4.8-bin-hadoop2.7.tgz 将安装包解压到一个非中文目录 配置SPARK_HOME环境变量 2.3 python中安装py4
IDEA配置环境
lem14的博客
02-01 220
1、表与表关系 一对一 一对多 多对多 关于环境说明 关于JDK配置 cmd运行JDK myeclipse自带JDK 1、查找JDK根目录 2、 SpringBoot启动流程
idea java环境配置,IDEA环境配置
weixin_31922807的博客
03-13 996
入职后的某一天，惊闻自己要搞jsp，我的内心还是在偷偷的窃喜的，我终于也要开始搞上java了。然后雄赳赳气昂昂，准备跨过鸭绿江，后来才知道鸭绿江的水真的很冷。环境配置哦，强调一点以下环境配置过程均是基于mac系统的一、安装JDK1.直接在oracle官网找到对应的pkg包下载2.双击pkg包安装3.终端输入java -version校验安装是否已经成功,如果现实下面的信息则安装成功。4.终端输入/...
Windows10环境下IDEA2017的安装与配置指南
这篇文档主要讲述了开发环境的搭建，包括所需的硬件配置和软件配置，特别关注了基于Windows10的操作系统上使用IntelliJ IDEA 2017作为集成开发环境(IDE)以及配置JDK 1.8和Tomcat 8的过程。 1. **硬件环境**： - ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值