spark windows下idea运行

spark windows下idea运行

1. 各环境准备：本地必须有spark,hadoop,scala,并配置完好，设置好路径
2. idea要下载scala的相关插件，并设置SDK，maven相关scala的依赖要写好。scala的sdk不可以导入多个
3. scala和spark版本要对应
4. hadoop的windows补丁要存在
5. 如果出现内存错误，在配置conf时，加上如下代码：

SparkConf conf = new SparkConf().setAppName("test").setMaster("local").set("spark.testing.memory", "512000000");

另外，发现一个非常坑的地方，如果ideal安装了scala的插件并且导入SDK，pron.xml此时还有如下依赖配置的话需要删除。貌似会有冲突导致无法package打包。

<dependency>
    <groupId>org.scala-lang</groupId>
    <artifactId>scala-library</artifactId>
    <version>2.13.5</version>
    <scope>provided</scope>
</dependency>