编写Spark独立应用程序(sbt)
① 使用Scala语言编写Spark独立应用程序;
② 使用sbt工具对Spark应用程序进行编译打包。
实验原理
-> sbt
SBT是一个现代化的构建工具。虽然它由Scala编写并提供了很多Scala便利,但它是一个通用的构建工具。可以使用sbt工具,对采用Scala语言编写的Spark应用程序进行编译打包。
1. 安装sbt工具
下载安装包请打开浏览器访问如下链接进行下载
拷贝代码
http://file.ictedu.com/fileserver/big_data_common/data/sbt-launch.jar
下载后的安装包保存在/home/user/Downloads目录下。
∥ 拷贝安装文件到sbt安装目录
打开Terminal,登录hadoop用户(su - hadoop)
安装文件位于当前登录Linux系统的用户的主目录的“下载”目录下。这里把sbt安装到“/usr/local/sbt”目录下,请使用hadoop用户登录Linux系统,新建一个终端,在终端中执行如下命令:
拷贝代码
sudo mkdir /usr/local/sbt
拷贝代码
sudo chown -R hadoop /usr/local/sbt
拷贝代码
cd /usr/local/sbt
cp /home/user/Downloads/sbt-launch.jar .
∥ 创建 sbt 脚本
接下来,使用vim编辑器在“/usr/local/sbt”中创建 sbt 脚本,命令如下:
拷贝代码vim ./sbt
在sbt脚本文件中,添加如下内容: