win10上搭建spark ide环境

最新推荐文章于 2024-08-07 04:18:12 发布
最新推荐文章于 2024-08-07 04:18:12 发布
阅读量700 收藏 2
点赞数
分类专栏： spark 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/akiyamamio11/article/details/79026865
版权
本文详细介绍了在Windows 10操作系统上搭建Spark开发环境的过程，包括安装JDK并配置环境变量，下载安装Scala，配置Maven，安装免费版IntelliJ IDEA，安装Scala插件，设置Scala SDK，创建Maven项目，标记源文件根目录，创建Scala类，导入Spark相关依赖，最后编写并运行Spark代码。
摘要由CSDN通过智能技术生成

1.安装jdk，设置好环境变量

2.下载scala，直接去官网下载msi的版本安装。有几点要注意：1.安装路径一定不能有空格，不然会悲剧。像program files这样的就不行。2.要下载spark的对应的版本。

3.下载maven，官网下载，直接解压，设置好环境变量，path。

4.下载intellij并安装，我直接用的免费版本。

5.安装时可以选择install scala插件。也可以后面在选，在plugins里面


6.intellij中配置jdk。


7.在global libraries里面设置scala的sdk

最低0.47元/天 解锁文章
akiyamamio11
关注
专栏目录
Spark开发环境配置(windows/Intellij IDEA 篇)
a_step_further的博客
04-18 1万+
Intellij IDEA是一个蛮不错的IDE，在java/scala/Groovy领域深得人心。笔者之前使用的是Eclipse那一套开发环境，虽然也不错，但忍不住好奇心的驱使，折腾了一下IDEA，发现写起Spark程序来，“哎呦，不错哟！”，故总结一下在windows系统中的配置过程(在mac下的配置其实更简单一些)，自己琢磨时还是费了点劲的，网上各种教程新旧正误繁杂，好不麻烦，加上笔者工作中最
win10下Spark的环境搭建
weixin_33937913的博客
08-19 182
win10下Spark的环境搭建 2018-08-19 18:36:45 一、jdk 1.8.0 安装与配置 二、scala 2.11.8 安装与配置http://www.scala-lang.org/download/2.11.8.html 上面两步见《win10下安装scala》 三、spark 2.3.0 安装与配置 1、下载spark:官网地址：http://spa...
如何在IDE中通过Spark操作Hive
最新发布
weixin_36876695的博客
08-07 32
前言话说前面已经简单介绍过在windows下hadoop&hive环境搭建和基本使用，如果这次直接写Spark项目实践就有一点突兀，那么就暂且跳过，先在IDEA中安装bigData插件连接hadoop的HDFS吧，而后再简单介绍使用Spark操作Hive。 Big Data Tools安装点击File, 选择Se...
Win10系统搭建Spark环境
slx_share的博客
04-18 507
在Win10系统下搭建Spark环境，有助于初学者学习开发及调试Spark应用。 软件包准备 不同版本Spark与PySpark存在不兼容的情况，以下版本经本人测试是可行的。 spark-2.3.3-bin-hadoop2.7 hadoop-2.7.7 winutils java1.8 scala-2.12.8 安装 java及scala的安装就不用讲了，记得设置环境变量就行 解压spark...
spark学习10（win下利用Intellij IDEA搭建spark开发环境）
weixin_33911824的博客
02-02 150
第一步：启动IntelliJ IDEA，选择Create New Project，然后选择Scala，点击下一步，输入项目名称wujiadong.spark继续下一步 第二步：导入spark-assembly-1.5.1-hadoop2.6.0.jar包 File——Project Structure——Libraries——点+号——点java——选择下载好的spark-asse...
windows10搭建spark本地开发环境
besmarterbestronger的博客
01-29 5513
注意：Spark3.0、Spark3.1是由Scala2.12预编译，但是Spark 3.2+是采用Scala 2.13预编译。
SparkLocalTest：基于IDEA的Win10本地开发测试Spark IDE工程
02-21
然后，我们需要搭建Spark开发环境。这包括下载Apache Spark及其依赖的Hadoop版本，并配置环境变量。SparkLocalTest项目表明，它是一个本地测试环境，意味着我们不需要完整的Hadoop集群，只需配置`SPARK_HOME`和`...
windows10下spark2.3.0本地开发环境搭建-亲测
06-22
通过以上步骤，你将在Windows 10环境下成功搭建Spark 2.3.0的本地开发环境，可以开始进行Spark应用的开发和测试。在遇到问题时，可以参考相关博客或文档，例如链接中提到的博客文章，以便解决可能遇到的错误和异常。
Spark在Windows下的环境搭建
热门推荐
大气人生
10-19 13万+
由于Spark是用Scala来写的，所以Spark对Scala肯定是原生态支持的，因此这里以Scala为主来介绍Spark环境的搭建，主要包括四个步骤，分别是：JDK的安装，Scala的安装，Spark的安装，Hadoop的下载和配置。为了突出”From Scratch”的特点（都是标题没选好的缘故），所以下面的步骤稍显有些啰嗦，老司机大可不必阅读，直接跳过就好。
spark环境搭建java_Spark MLlib 环境搭建超详细教程
weixin_31181381的博客
02-16 609
1、系统及环境版本系统：Win7 旗舰版 64位 sp1JDK：1.8.0Spark：2.3.2Hadoop：2.7Scala：2.11.8文章最后，有所有版本的下载链接，不用再去折腾版本之间的问题。2、环境下载2.1 Spark 下载spark2.2 hadooponwindos 下载image.png2.3 Hadoop 下载image.png2.4 JDK下载略2.5 IntelliJ ID...
win10下的Spark本地idea环境搭建教程.docx
04-02
win10下的Spark本地idea环境搭建教程，适合spark及scala本地开发调试。
Spark+Hadoop+IDE环境搭建
06-26
Hadoop 2.2.0 详细配置+Spark部署(ps：自己弄的文档，完全可以搭建成功)
Window10 IDEA 搭建Spark
Natsumis的博客
01-10 286
Window10 IDEA 搭建Spark 1.下载spark-2.4.7-bin-hadoop2.7（版本以自己为主，不用和我一样） 2.下载scala（与spark内置的scala版本相同），spark下的jars文件夹可以看到依赖的scala版本 IDEA中，File-Project Structure-Global Libraries中添加scalaSDK spark目录下的jars文件夹导入项目 5.（十分关键！！）下载winUtils（git和github都有，里面直接搜..
win10中spark环境的配置
vasonyang随记
12-18 1017
使用的软件版本： jdk使用的1.8 winutils 为从 这里： https://github.com/steveloughran/winutils 下载的相应版本的 1、先配置JDK环境，在环境变量中配置好 JAVA_HOME，CLASSPATH，PATH中添加上%JAVA_HOME%\bin，%JAVA_HOME%\jre\bin，需要注意的是，jdk的路径中不要出现空格，否...
win10搭建hadoop和spark
2401_84048338的博客
05-08 363
自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。深知大多数Java工程师，想要提升技能，往往是自己摸索成长，自己不成体系的自学效果低效漫长且无助。因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。
WIN10配置Spark+IDEA+Maven开发环境
ArYe
04-29 529
发出火花的目录1、配置IDEA+Maven+Scala开发环境2、配置WIN10上Hadoop开发环境3、pom.xml 添加 Spark4、关联Spark源码5、日志等级修改6、试运行7、打包+提交到集群 1、配置IDEA+Maven+Scala开发环境 2、配置WIN10上Hadoop开发环境 log4j-core
Window10+Spark+IDEA 搭建本地开发环境
不积跬步，无以至千里
12-18 1572
本文将简单搭建一个spark的开发环境，如下： 软件下载 1）操作系统：windows10 2）IDEA开发工具以及scala插件（IDEA和插件版本要对应） IDEA2018.3.5 下载地址https://www.jetbrains.com/ scala-intellij-bin-2018.3.7.ziphttp://plugins.jetbrains.com/p...
Win10+IDEA+Scala+Spark2.1.0官方实例——朴素贝叶斯
Muzi_Water的博客
04-22 687
从Spark 2.0开始，Spark中的基于RDD的spark.mllib包已进入维护模式，现在Spark主要的机器学习API是基于DataFrame的spark.ml包，基于RDD的API将在Spark3.0之后移除，(DataFrame API支持的语言有Scala，Java，Python和R。Dataset API 支持Scala和Java。 Python不支持Dataset API)。所...
IntelliJ IDEA Win7环境下搭建Spark开发环境详解
本文档详细介绍了如何在Windows 7环境下利用IntelliJ IDEA搭建Spark开发环境的过程。以下是关键步骤和配置： 1. 环境准备 - 操作系统：Windows 7 - Java Development Kit (JDK): JDK 1.8.0_91，推荐安装JDK 6及...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值