6.编写Spark独立应用程序(sbt)(华为云学习笔记,Spark编程基础,大数据)

编写Spark独立应用程序(sbt)① 使用Scala语言编写Spark独立应用程序;② 使用sbt工具对Spark应用程序进行编译打包。实验原理-> sbtSBT是一个现代化的构建工具。虽然它由Scala编写并提供了很多Scala便利,但它是一个通用的构建工具。可以使用sbt工具,对采用Scala语言编写的Spark应用程序进行编译打包。1. 安装sbt工具下载安装包请打开浏览器访问如下链接进行下载拷贝代码http://file.ictedu.com/fileserver/big_data_
摘要由CSDN通过智能技术生成

编写Spark独立应用程序(sbt)
① 使用Scala语言编写Spark独立应用程序;
② 使用sbt工具对Spark应用程序进行编译打包。
实验原理
-> sbt
SBT是一个现代化的构建工具。虽然它由Scala编写并提供了很多Scala便利,但它是一个通用的构建工具。可以使用sbt工具,对采用Scala语言编写的Spark应用程序进行编译打包。

1. 安装sbt工具
下载安装包请打开浏览器访问如下链接进行下载

拷贝代码
http://file.ictedu.com/fileserver/big_data_common/data/sbt-launch.jar
下载后的安装包保存在/home/user/Downloads目录下。
在这里插入图片描述

∥ 拷贝安装文件到sbt安装目录
打开Terminal,登录hadoop用户(su - hadoop)
安装文件位于当前登录Linux系统的用户的主目录的“下载”目录下。这里把sbt安装到“/usr/local/sbt”目录下,请使用hadoop用户登录Linux系统,新建一个终端,在终端中执行如下命令:

拷贝代码
sudo mkdir /usr/local/sbt
拷贝代码
sudo chown -R hadoop /usr/local/sbt
拷贝代码
cd /usr/local/sbt
cp /home/user/Downloads/sbt-launch.jar .
在这里插入图片描述

∥ 创建 sbt 脚本
接下来,使用vim编辑器在“/usr/local/sbt”中创建 sbt 脚本,命令如下:
拷贝代码vim ./sbt
在sbt脚本文件中,添加如下内容:

  • 0
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值