文章目录
1 运行环境
- 操作系统:
WIN10 64位
- JDK版本:
1.8.0_161
- Scala版本:
2.11.2
- Meven版本:
3.2.5
- 开发工具:
IntellJ IDEA2018.3.3
2 Maven
2.1 Windows下Maven配置
- 下载安装包并解压,修改
conf/settings.xml
中配置项Maven本地仓库localRepository
- 配置环境变量
mvn -v
查看版本,检查环境变量是否配置成功
2.2 IDEA创建Maven 项目
- 创建选择 maven-archetype-quickstart
- 配置名称,点击next
- 配置Maven及本地Maven仓库地址
- 配置项目名称和位置,创建即可
- 更新替换Maven
pom.xml
文件
注意groupId,artifactId,version不要更新替换
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>com.mysparktest</groupId>
<artifactId>MySparkTest</artifactId>
<version>1.0-SNAPSHOT</version>
<name>MySparkTest</name>
<!-- FIXME change it to the project's website -->
<url>http://www.example.com</url>
<!-- 配置以下可以解决 在jdk1.8环境下打包时报错 “-source 1.5 中不支持 lambda 表达式” -->
<properties>
<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
<maven.compiler.source>1.8</maven.compiler.source>
<maven.compiler.target>1.8</maven.compiler.target>
</properties>
<dependencies>
<!-- Spark-core -->
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.11</artifactId>
<version>2.3.1</version>
</dependency>
<!--SparkStreaming-->
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-streaming_2.11</artifactId>
<version>2.3.1</version>
<!--<scope>provided</scope>-->
</dependency>
<!-- Scala 包-->
<dependency>
<groupId>org.scala-lang</groupId>
<artifactId>scala-library</artifactId>
<version>2.11.7</version>
</dependency>
<dependency>
<groupId>org.scala-lang</groupId>
<artifactId>scala-compiler</artifactId>
<version>2.11.7</version>
</dependency>
<dependency>
<groupId>org.scala-lang</groupId>
<artifactId>scala-reflect</artifactId>
<version>2.11.7</version>
</dependency></