VS Code下的Spark(Scala)开发

VS Code下的Spark(Scala)开发

IntelliJ IDEA下开发Scala应用很智能，体验很好，但正版费用极高，为了避免版权收费问题，考虑使用开源免费的IDE,比如Eclipse,VS Code，而且VS Code小而美、功能全、执行快、跨平台，所以使用VS Code

安装Java JDK 8

很简单，不做啰嗦

安装Scala

官网下载Scala 2.12或2.11,Spark 3.0使用Scala2.12,，Spark3.0之前使用Scala2.11

下载安装msi安装包，傻瓜式安装，环境变量会自动配置

安装好后cmd 输入scala成功则会进入Scala 的交互式命令行Repo

C:\Users\cross>scala
Welcome to Scala 2.12.12 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_131).
Type in expressions for evaluation. Or try :help.

安装SBT

官网下载最新的sbt msi安装包，一样傻瓜式，环境变量会自动配置

安装好后cmd 输入sbt --version成功会打印版本信息

C:\Users\cross>sbt --version
sbt version in this project: 1.4.5
sbt script version: 1.4.5

配置sbt使用阿里云的maven仓库，不然下包很慢

到目录：C:\Users\cross\.sbt\下创建repositories文件，内容：

[repositories]
local
aliyum-maven: https://maven.aliyun.com/repository/central
maven-central: https://repo1.maven.org/maven2/
sbt-plugin-repo: https://repo.scala-sbt.org/scalasbt/sbt-plugin-releases, [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext]

配置使用全局仓库，C:\Program Files (x86)\sbt\conf\sbtconfig.txt,编辑增加：

-Dsbt.override.build.repos=true

安装VS Code

最新包exe版，直接安装

• 左侧扩展插件搜索 Scala (Metals) 安装

• 然后左侧插件按钮下会多出现一个Metals按钮，就是创建构建Scala sbt项目用的

• 安装中文插件搜索 Chinese (Simplified) Language Pack 就能找到

• 点卡设置按钮，找扩展>metals>custom repositories,输入框输入

  https://maven.aliyun.com/repository/central
  

  多个仓库用“|”分割，如果不配置的话使用的仍然是中央仓库，下包很慢。。。

• 点击左侧的metals按钮，最下边Build Commands有个New Scala Project,点击创建，选择一个scala/hello-word.g8的模板,按提示enter确认，这样就创建一个scala hello-word项目

创建Spark应用

• 在上面创建的项目中修改project/build.properties，修改sbt版本为你安装的版本

• 修改项目根目录下build.sbt文件，修改scala版本为你安装的对应版本

• build.sbt增加spark的依赖

  scalaVersion := "2.12.12"
  libraryDependencies +="org.apache.spark"%%"spark-core"%"3.0.0"
  lib