idea 使用maven的archetype模板来创建Spark 项目

版本

• Scala 版本：2.11.8
• spark 版本：spark-2.4.4-bin-hadoop2.7.tgz

一、创建Scala 工程

1. 创建maven 项目

打开Intellij ,File->new project

只需第一次添加，以后创建项目可以直接跳过该步骤

图中参数设置参考：scala 工程创建相关设置

2. 选择模板

3. 填写工程相关信息

4. 修改scala 版本号

项目创建完成，打开pom 文件，修改scala 版本号，尽量和本地scala 版本或集群上服务器版本保持一致

5. 删除测试依赖

6. 删除多余行

注：这行具体干啥的不太清楚，有知道的麻烦留言告知，不胜感激

7. 删除测试代码

上述步骤完成后，运行src 目录下的App 下的，控制台出现"Hello Word!"即完成了scala 工程的创建。

---

二、添加Spark 相关jar 包

1. 下载spark jar 包

从官网下载spark 相关jar 包：http://spark.apache.org/downloads.html
，我这里用的是 【spark-2.4.4-bin-hadoop2.7.tgz】，下载到本地解压

2. 添加spark jar 包

选择刚下载解压后的文件目录中jar所在文件夹

添加完成后的项目格式如图，主要包含两大sdk: Spark sdk、Scala sdk

3. 测试spark项目

运行如下代码：

    val spark = SparkSession
      .builder()
      .master("local")
      .appName("Spark SQL Example")
      .config("spark.some.config.option","some-value")
      .getOrCreate()

    import spark.implicits._
    val df = spark.read.json("D:\\apache\\spark-2.4.4-bin-hadoop2.7\\examples\\src\\main\\resources\\people.json")
    df.show()
    df.printSchema()

可以打印出文件内容即代表spark项目搭建成功。

---

另：本地未配置hadoop的话，日志中可能会出现如下错误提示，不过不影响spark 项目运行，只不过无法通过web 界面的4040 端口查看程序运行情况，要想修复该错误，可以在windows 本地安装hadoop。