windows安装spark

最新推荐文章于 2024-06-03 16:25:36 发布
最新推荐文章于 2024-06-03 16:25:36 发布
阅读量601 收藏
点赞数
分类专栏： linux菜鸟篇 文章标签： spark windows安装
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/agangz/article/details/73468871
版权
本文提供了Windows上安装Spark的步骤，包括安装JDK、Scala插件、Hadoop和Spark，以及在IntelliJ IDEA中配置SDK。用户需下载指定版本的安装包，如jdk-7u51-windows-x64、scala-intellij-bin-2016.3.8和spark-2.1.0-bin-hadoop2.7，并在IDE中设置JAVA、SCALA及SPARK的SDK。
摘要由CSDN通过智能技术生成

参考https://www.zhihu.com/question/35973656


所需安装包如下：

jdk：jdk-7u51-windows-x64

scala（可安装的独立程序）：scala-2.11.8
spark：spark-2.1.0-bin-hadoop2.7


intellij：ideaIC-2016.3.7

scala（插件，压缩包）scala-intellij-bin-2016.3.8

hadood：spark-2.1.0-bin-hadoop2.7


打开intellij IDE后，需设置对应的SDK依赖（java、scala、spark）

选择“file”——> "Project structure"

设置依赖的JAVA SDK



设置java和scala SDK

最低0.47元/天 解锁文章
deepaudio
关注
专栏目录
在Windows上的安装 Spark
lengyudexin的博客
12-28 1340
安装Java 8或更高版本 要在windows上安装Apache Spark，你需要Java 8或最新的版本，因此从 Oracle 下载Java版本并安装在你的系统上。如果你想要OpenJDK，你可以从这里 下载.它。 下载后，双击下载的文件，以便在您的windows系统上安装它。选择任何自定义目录或保持默认位置。 注意：这是以Java 8上安装Apache Spark为例，同样的步骤也适用于Java 11和13版本。 Apache Spark在Windows上的安装 Apache Spark是以压缩的t
【Spark】Windows下安装Spark（亲测成功安装）
热门推荐
tttzzzqqq2018的博客
08-02 1万+
安装Spark之前，需要安装JDK、Hadoop、Scala。显示上面的正常运行界面，表示本地的spark环境已搭建完成！环境变量Path添加条目%SCALA_HOME%\bin。为了验证Scala是否安装成功，开启一个新的cmd窗口。环境变量Path添加条目%SPARK_HOME%\bin。为了验证Spark是否安装成功，开启一个新的cmd窗口。设置环境变量 %SCALA_HOME%设置环境变量 %SPARK_HOME%本地点击msi文件安装，安装目录为。可以看到Scala安装成功。安装方法就不赘述了。
二、Spark在Windows下的环境搭建
weixin_33898233的博客
03-26 3350
由于Spark是用Scala来写的，所以Spark对Scala肯定是原生态支持的，因此这里以Scala为主来介绍Spark环境的搭建，主要包括四个步骤，分别是：JDK的安装，Scala的安装，Spark的安装，Hadoop的下载和配置。为了突出”From Scratch”的特点（都是标题没选好的缘故），所以下面的步骤稍显有些啰嗦，老司机大可不必阅读，直接跳过就好。 　　 一．JDK的安装与环境变...
window环境下安装spark
定期分享我的发现和想法，感谢你的陪伴和支持
04-04 4007
window环境下安装spark 这个非常成功 https://zhuanlan.zhihu.com/p/149469688
windows中安装Spark
蓝色格子ren的博客
07-27 6252
由于Spark是基于Scala编写的，而Scala又是依赖于Java，所以需要你先安装Scala以及JDK。有时我们需要依赖HDFS去取数据或者使用YARN集群部署，所以需要一般也需要安装Hadoop。安装JDK以及安装Sacla这里不做介绍。 1.下载Spark包 进入Spark的下载页面，选择需要下载的tgz文件。 2.下载Hadoop包 下载Spark时，我们选择的是Hadoop 2.7，所以我们进入Apache Hadoop下载页中下载对应版本的tar.gz文件 3. 安装Spark 解压下载后
windows下安装spark
u013008898的博客
11-16 6351
一、安装Scala 下载地址：http://www.scala-lang.org/download/all.html 进入页面后选择一个Scala版本进行下载，我选择的是Scala2.12.0版本。特别注意的是看帖子又的说Scala版本与Spark版本之间是有一定关联的，比如说你的Scala版本是2.12.0，那么就应该下载Spark版本为从1.3.0到Spark 1.6.2之间的各个版本。这种说法不知道准不准确，但是还是注意一下比较好。 Scala安装好之后呢，它会自动在环境变量PATH里面配置..
Windows安装Spark 需要用到的包
07-02
在Windows环境下安装Apache Spark涉及到与Hadoop的集成，因为Spark是构建在Hadoop生态系统之上的分布式计算框架。这里我们将详细探讨如何在Windows操作系统上安装Spark，并重点介绍如何处理Hadoop的相关部分。 首先...
windows安装spark2软件包.zip
01-15
windows安装spark2软件包 包括： 1.spark-2.3.0-bin-hadoop2.7.tgz spark的压缩包 2.scala-2.11.8.zip scala的压缩包 3.hadoop-2.7.1.tar.gz 基础hadoop包 4.apache-maven-3.6.3-bin.zip maven压缩包 5.winutils-...
windows安装spark后spark-shell启动报错
木凡_Denius
05-17 6211
Hadoop lib下已添加对应版本的winutils cmd输入D:\peizhi\hadoop\bin\winutils.exe chmod 777 /tmp/hive 不能成功启动spark-shell <console>:16: error: not found: value sqlContext import sqlContext.implicits._
windonws下spark的安装(最新安装)
m0_57382185的博客
10-30 5900
spark超详细安装步骤 （1） 针对于不可写问题，只要它下面已经说明已经安装或安装成功便可忽略； （2） 对于没有“py4j”库的问题，通过pip install py4j==0.10.9.5 即可添加。
spark踩坑记——windows环境下spark安装和运行
最新发布
2201_76100933的博客
06-03 386
spark踩坑记——windows环境下spark安装和运行
Windows环境下安装Spark并运行WordCount例子
actionbean的博客
11-09 7058
Windows环境下安装Spark并运行WordCount例子一、Windows下安装Spark1、提前安装Java JDK2、提前安装Scala3、安装Spark4、安装Hadoop5、下载winutils（winutils.exe是在window系统上安装hadoop时所需要的winutils文件）6、运行spark-shell二、运行WordCount例子1、新建Project2、新建Scala Class3、导入Spark程序依赖的jar包4、编写WordCount代码 一、Windows下安装Sp
spark在windows安装
YouAreLion的博客
12-28 2820
spark在windows安装
Windows下单机安装Spark开发环境
tianyeshiye
02-08 298
机器：windows 10 64位。Java下Spark开发环境搭建1.1、jdk安装安装oracle下的jdk，我安装的是jdk 1.8，安装完新建系统环境变量JAVA_HOME，变量值为“C:\Program Files\Java\jdk1.8”，视自己安装路劲而定。同时在系统变量Path下添加C:\Program Files\Java\jdk1.8\bin和C:\Program Files\...
windows下安装Spark
u012730092的专栏
01-06 1399
Windowns 下安装Spark一、需要的安装包 hadoop hadoop2.6.5（选择清华大学的源） spark spark1.6 hadoop.dll 和winutils.exe hadoop.dll 和 winutils.exe 二、环境配置 在环境变量中新建HADOOP_HOME, 值为hadoop安装路径 在环境变量中新建SPARK_HOME, 值为spark安装路径 具体
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值