文章目录
版本
- Scala 版本:2.11.8
- spark 版本:spark-2.4.4-bin-hadoop2.7.tgz
一、创建Scala 工程
1. 创建maven 项目
打开Intellij ,File->new project
只需第一次添加,以后创建项目可以直接跳过该步骤
图中参数设置参考:scala 工程创建相关设置
2. 选择模板
3. 填写工程相关信息
4. 修改scala 版本号
项目创建完成,打开pom 文件,修改scala 版本号,尽量和本地scala 版本或集群上服务器版本保持一致
5. 删除测试依赖
6. 删除多余行
注:这行具体干啥的不太清楚,有知道的麻烦留言告知,不胜感激
7. 删除测试代码
上述步骤完成后,运行src 目录下的App 下的,控制台出现"Hello Word!"即完成了scala 工程的创建。
二、添加Spark 相关jar 包
1. 下载spark jar 包
从官网下载spark 相关jar 包:http://spark.apache.org/downloads.html
,我这里用的是 【spark-2.4.4-bin-hadoop2.7.tgz】,下载到本地解压
2. 添加spark jar 包
添加完成后的项目格式如图,主要包含两大sdk: Spark sdk、Scala sdk
3. 测试spark项目
运行如下代码:
val spark = SparkSession
.builder()
.master("local")
.appName("Spark SQL Example")
.config("spark.some.config.option","some-value")
.getOrCreate()
import spark.implicits._
val df = spark.read.json("D:\\apache\\spark-2.4.4-bin-hadoop2.7\\examples\\src\\main\\resources\\people.json")
df.show()
df.printSchema()
可以打印出文件内容即代表spark项目搭建成功。
另:本地未配置hadoop的话,日志中可能会出现如下错误提示,不过不影响spark 项目运行,只不过无法通过web 界面的4040 端口查看程序运行情况,要想修复该错误,可以在windows 本地安装hadoop。