spark windows下idea运行
- 各环境准备:本地必须有spark,hadoop,scala,并配置完好,设置好路径
- idea要下载scala的相关插件,并设置SDK,maven相关scala的依赖要写好。scala的sdk不可以导入多个
- scala和spark版本要对应
- hadoop的windows补丁要存在
- 如果出现内存错误,在配置conf时,加上如下代码:
SparkConf conf = new SparkConf().setAppName("test").setMaster("local").set("spark.testing.memory", "512000000");
另外,发现一个非常坑的地方,如果ideal安装了scala的插件并且导入SDK,pron.xml此时还有如下依赖配置的话需要删除。貌似会有冲突导致无法package打包。
<dependency>
<groupId>org.scala-lang</groupId>
<artifactId>scala-library</artifactId>
<version>2.13.5</version>
<scope>provided</scope>
</dependency>