【Spark+NLP】13、使用IDEA创建spark项目 + pom.xml的配置

说在前面：

之前spark的分布式环境终终终终于搭建好了，下一步就是开始spark编程了。

我用到的是IDEA。

临时先在windows环境下操作，过两天移到linux环境中。

一、IDEA的安装

https://blog.csdn.net/PrincessLin/article/details/91540040

二、idea安装scala + maven的安装和配置

https://blog.csdn.net/PrincessLin/article/details/96585563

 

正文：

一、前面使用idea创建的scala项目，这种方式配置maven的时候有些繁琐，容易报错。

从网上搜索了另一种方式：直接创建maven文件，再导入sdk包

方法如下：

https://blog.csdn.net/sp_ur/article/details/82683264

 

二、上方攻略的第10步pom.xml文件，本人配置如下：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <groupId>lin</groupId>
    <artifactId>firstScala</artifactId>
    <version>1.0-SNAPSHOT</version>

    <properties>
        <maven.compiler.source>1.8</maven.compiler.source>
        <maven.compiler.target>1.8</maven.compiler.target>
        <scala.version>2.11.12</scala.version>
        <spark.version>2.4.3</spark.version>
        <hadoop.version>2.8.3</hadoop.version>
        <encoding>UTF-8&