1.pom文件添加依赖:
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.11</artifactId>
<version>2.3.2</version>
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-sql_2.11</artifactId>
<version>2.3.2</version>
</dependency>
2.下载hadoop和对应版本的winutils,解压两个文件之后,把winutils的bin目录下的文件复制到hadoop的bin目录下。
3.代码中加入hadoop的安装目录:
System.setProperty("hadoop.home.dir", "E:\\hadoop-xxx");
SparkConf sparkConf = new SparkConf().setMaster("local");
SparkSession spark = SparkSession.builder()
.config(sparkConf)
.appName("job's name")
.getOrCreate();
4.运行本地spark代码。