windows下spark环境搭建

最新推荐文章于 2024-09-04 11:00:00 发布
置顶 最新推荐文章于 2024-09-04 11:00:00 发布
阅读量1.1k 收藏 5
点赞数 2
文章标签： spark 环境搭建
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40807739/article/details/81156058
版权
本文详细介绍了在Windows系统中搭建Spark环境的步骤，包括下载scala-2.11.11、hadoop2.7和spark-2.3.1等软件，安装scala，配置spark和hadoop环境变量，以及解决winutils.exe的问题。最后通过在IDEA中运行代码验证配置成功。
摘要由CSDN通过智能技术生成

1、首先下载所需要的安装包

分别是 scala-2.11.11 ，hadoop2.7,spark-2.3.1、winutls工具类

链接：https://pan.baidu.com/s/1Tv-N7lQUd2T24HncwSZ5Ag 密码：z9ex

2、先安装scala

 

直接运行安装包即可，自动配置环境变量

3、配置spark

直接解压即可

配置spark环境变量

在path下配置D:\DTEve\spark\spark-2.3.1-bin-hadoop2.7\bin

这里是我的目录，改成自己spark解压的地址即可

然后可以直接测试一下打开cmd 输入 spark-shell测试一下

如果报错了没关系，只要不是命令找不到就行

4、配置hadoop-2.7

最低0.47元/天 解锁文章
Xoxo_cs
关注
windows配置spark开发环境
小狐白白的博客
11-22 1112
windows本地配置spark开发环境
windows10下spark2.3.0本地开发环境搭建-亲测
06-22
windows10下spark2.3.0本地开发环境搭建 win10上部署Hadoop非Cygwin、非虚拟机方式。安装目录为D:\setupedsoft。涉及相关组件版本： win10 家庭装，64位，x86处理器 JDK1.8.0_171 hadoop-2.7.6 Spark-2.3.0 Scala-2.11.8 Maven-3.5.3 ideaIC-2018.1.4.exe spark-2.3.0-bin-hadoop2.7 对应博文：https://blog.csdn.net/hambition/article/details/80769771 由于博文上传图片比较麻烦，图片又非常之多，没分的同学可直接看博文。
Windows系统下的Spark环境配置
最新发布
eeee~~的博客
09-04 1449
在 Windows 系统上配置 Spark 环境涉及到几个步骤，包括安装 Java、下载和解压 Spark、配置环境变量以及验证安装。
Spark学习笔记--Spark在Windows下的环境搭建
a261505的博客
08-03 348
　　本文主要是讲解Spark在Windows环境是如何搭建的 一、JDK的安装 1、1 下载JDK 　　首先需要安装JDK，并且将环境变量配置好，如果已经安装了的老司机可以忽略。JDK（全称是JavaTM Platform Standard Edition Development Kit）的安装，去Oracle官网下载，下载地址是Java SE Downloads。 　　上...
Spark在Windows下的环境搭建
u013429010的博客
10-12 868
由于Spark是用Scala来写的，所以Spark对Scala肯定是原生态支持的，因此这里以Scala为主来介绍Spark环境的搭建，主要包括四个步骤，分别是：JDK的安装，Scala的安装，Spark的安装，Hadoop的下载和配置。为了突出”From Scratch”的特点（都是标题没选好的缘故），所以下面的步骤稍显有些啰嗦，老司机大可不必阅读，直接跳过就好。 一．JDK的安装与环境变量的设置...
在Windows下的配置Spark环境
weixin_44166997的博客
08-14 166
主要是需要安装四部分， 1·JDK的安装 2·Scala的安装 3·Spark的安装 4·Hadoop的安装 具体步骤 可参考博客Spark在Windows下的环境搭建
Spark在Windows下的环境搭建方法
10-16
在上述所有软件安装和配置完成后，需要在Windows系统中通过命令行验证Spark环境是否搭建成功。可以在命令行中输入“spark-shell”，如果能进入Spark的交互式命令行环境，则表示搭建成功，可以开始进行Spark开发工作...
Spark环境搭建-Windows
qq_47844519的博客
07-06 2208
spark Windows搭建
spark以及大数据在windows下搭建环境的完全文档
04-19
Java、scala、maven、idea、spark、以及python环境的搭建文档
Windows环境下SparkML程序简单示例
12-14
Windows环境下SparkML程序简单示例，机器学习程序基本都包括分类、回归、聚类等算法，可以运行！
windows下运行spark程序
funny75的专栏
02-04 4287
linux普通用户开发spark程序时，由于无法使用IDEA的图形化操作界面，所以只能大包围jar，用spark-submit提交，不是很方便， spark的local模式可以方便开发者在本地调试代码，而不用打包为jar用spark-submit提交运行，或是在spark-shell中逐行运行，下面是在windows上运行sparkPi的代码及结果package comimport scala.ma
在Windows下搭建Spark环境
共勉
04-26 1091
安装jdk配置jdk环境变量 参考：单击前往 安装Scala及配置 在官网当中进行下载：https://www.scala-lang.org/ 单击download后，可以在最下面看到版本信息：选择Scala的msi版本，单击下载。 下载完成后单击运行就会进入到安装界面，一直下一步安装即可。 在cmd当中需要看一下输入scala后是否可以进行scala； 如果不能进入，大概就是在安装的时候没...
填坑—— Spark在Windows下的环境搭建
Rayfan
05-15 985
Spark在Windows下的环境搭建该博客中提到一点：安装路径及存放路径的文件夹名字中，不要出现空格。我再补充一点：Java版本要是旧的版本，如jdk-8u172。最新版本jdk-10.0.1_windows-x64_bin不可以，会出错。温馨提示：看教程注意看教程发布的时间。...
【Spark】Windows下安装Spark（亲测成功安装）
热门推荐
tttzzzqqq2018的博客
08-02 1万+
安装Spark之前，需要安装JDK、Hadoop、Scala。显示上面的正常运行界面，表示本地的spark环境已搭建完成！环境变量Path添加条目%SCALA_HOME%\bin。为了验证Scala是否安装成功，开启一个新的cmd窗口。环境变量Path添加条目%SPARK_HOME%\bin。为了验证Spark是否安装成功，开启一个新的cmd窗口。设置环境变量 %SCALA_HOME%设置环境变量 %SPARK_HOME%本地点击msi文件安装，安装目录为。可以看到Scala安装成功。安装方法就不赘述了。
window下spark 环境搭建
lh87270202的博客
05-17 592
1、java 环境变理配置 2、scala安装 3、spark安装 官网下载地址：http://spark.apache.org/downloads.html 打开官网后，直接选择你需要下载的版本下载，解压后 添加环境变量，在path后面添加你的spark解压的路劲到bin文件夹，如：D:\Spark\bin。 添加完环境变量后，可以打开一个cmd运行spark-shell，此运...
Windows下Spark环境搭建教程：步骤详解
本篇文章主要介绍了在Windows环境下...这些步骤是针对Windows环境搭建Spark所需的基本配置，实际操作时可能需要根据个人系统情况和特定需求进行调整。通过遵循本文提供的步骤，用户可以为Spark开发环境打下坚实的基础。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值