[Spark] 手把手教你在IDEA中搭建Spark环境

IDEA中搭建Spark 2.4.5开发环境教程
本文手把手教你如何在IDEA中搭建Spark 2.4.5的开发环境,包括创建Maven工程,配置Scala版本,添加Spark依赖,解决 jar 包问题,删除测试文件,调整日志级别,最终实现干净的控制台输出。

虽然Linux环境下已经安装了Spark,但很多时候,在IDEA中使用Spark环境开发也是很有必要的;
本例中选择Spark的版本号2.4.5,scala工具包的版本是2.11:

1.新建一个maven工程,选择org.scala-tools.archetypes:scala-archetype-simple (假定idea中已经配了scala插件包)
2.进入Maven后,检查Project Structure中Global Libraries(公共库),scala工具包是不是scala-sdk-2.11.12版本,移除不对的版本
在这里插入图片描述
3.配置pom.xml文件:
(1).修改scala.version为2.11.12
(2).搜索mavenrepository --> Spark Project Core和Spark ProjectSQL,选择spark版本是2.4.5,scala版本为2.11,maven开启自动导包下载

<!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core -->
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-core_2.11</artifactId>
    <version>2.4.5</version>
</dependency>
<!-- https://mvnrepository.com/artifact/org.apache.spark/spark-sql -->
<dependency>
    <groupId>org.apache.spark</groupId>
    <
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值