sbt的安装以及用sbt编译打包scala编写的spark程序

最新推荐文章于 2023-10-23 09:17:15 发布
原创 最新推荐文章于 2023-10-23 09:17:15 发布 · 2.5w 阅读 · 19 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark #scala #linux

本文详细介绍了在Linux系统中如何安装sbt，并使用sbt编译和打包一个Scala编写的Spark程序。从创建项目目录结构、编写Scala源代码，到设置sbt配置文件，再到下载sbt jar包、创建sbt脚本，以及最终的编译打包和使用spark-submit提交运行，整个过程一目了然。

众所周知，spark可以使用三种语言进行编写，分别是scala，phython，java三种语言，而且执行方式不同，Scala是用sbt编译打包，Java是用Maven进行编译打包，而phython则是用spark-submit提交运行。而sbt本身就是用scala进行编写的。这里记录以下自己在Linux下安装sbt的过程以及编译打包spark程序的流程，以做备忘。

1 .首先进入根目录创建相应的目录结构，执行下面的这些命令,这里-p参数表示创建多级目录
这里写图片描述

2 .之后通过cd 命令进入这里创建的scala目录下，通过vim SimpleApp.scala创建scala文件，里面是空的，添加下面这些内容，这个程序是用来统计一个文本中含有字母a和含有字母b的行数，这里指定的logFile是存放在Linux下的相应目录下，注意这里是///,这个logFile可以在windows下创建通过xftp4进行传输，也可以直接在linux下直接创建，这个内容是Spark压缩包中自带的
这里写图片描述

3 .之后在Linux下输入spark-shell，查看一下spark和scala对应的版本，记录下来，稍后会用到

最低0.47元/天 解锁文章
了解、安装sbt，使用sbt（console、IDEA）以及IDEA中打包spark的jar包
王某的博客
11-13 1万+
本文测试环境： ● Win10 ● Scala-2.12.3 ● Spark-2.2.0 ● Sbt-1.0.0 ● JDK-1.8 ● IDEA-2017.1.4 ● Git(IDEA下载SBT插件时可能会用到) ● 2017/8/26(文章写完一直忘了发到博客上) 我在配置IDEA+scala&sbt的过程中走了不少弯路，所以记录一下配置
安装sbt利用开发工具IntelliJ IDEA编写Spark应用程序（Scala+SBT）参考林子雨教程
m0_68165821的博客
05-27 2917
备注：这里需要注意，在Intellij Idea启动时，会执行“extracting project structure from sbt”的操作，也就是把sbt所需要的项目结构从远程服务器拉取到本地，在本地会生成sbt所需要的项目结构。sbt需要下载安装，可以访问“http://www.scala-sbt.org”下载安装文件sbt-1.3.8.tgz，保存到下载目录。我们点击Install，就会开始下载安装插件，安装完成后，我们点击Restart IDE，重启后，就可以显示中文的IDEA界面了。
idea利用sbt打包scala程序为jar包 并发布到集群中测试
Gamedev
02-22 1万+
前提条件是创建好了wordcount项目，可以参考Scala官方IDE教程 Getting Started with Scala in IntelliJ Building a Scala Project with IntelliJ and sbt Spark Quick Start https://spark.apache.org/docs/latest/quick-start.html#s...
scala-dist：打包Scala发行版的sbt项目
02-20
Scala 2.13.x发行版 该项目将"org.scala-lang" % "scala-dist" % $version Maven工件变形为Scala $version发行$version （zip，tar.gz，deb，rpm和msi）。 要构建发行版，请运行： universal:packageBin构建通用zip安装程序 universal-docs:packageBin构建通用文档zip debian:packageBin构建Debian DEB文件。 需要dpkg-deb rpm:packageBin构建yum RPM文件。 需要rpmbuild windows:packageBin构建Windows MSI。 需要WiX 3.6 另外， s3Upload任务的映射是根据安装程序在其上运行的平台配置的。 在Windows上，它会构建MSI。 在另一个平台上，它将
使用IDEA配置sbt，编译打包Scala代码
qq_52147555的博客
10-23 2787
IDEA配置sbt，编译打包Scala代码
13.Linux下sbt编译打包Spark程序 和 Maven编译打包Scala程序
ghw666666666的博客
10-23 1584
README文件中包含“a”和“b”的行数，并打印结果。这段代码的作用是计算/usr/local/通过spark-submit运行程序。
【Scala构建工具】sbt安装与配置：从环境搭建到Spark应用开发全流程指南
最新发布
06-17
随后，文档逐步演示了利用sbt创建Scala项目的基本流程，如建立项目目录结构、编写简单的Scala代码、构建sbt配置文件、打包程序为JAR文件，并通过spark-submit命令提交任务执行。此外，还提供了一个稍复杂的示例，...
使用Scala语言编写Spark应用程序实现数据去重
weixin_46701669的博客
10-24 6748
使用Scala语言编写Spark应用程序实现数据去重一、题目需求二、建立目录结构（一）创建 sparkapp4 文件夹并切换（二）创建 data 文件夹（存放A.txt B.txt）（三）创建 /src/main/scala 文件夹用来存放代码（四）编写代码（五）编写 simple.sbt三、编译及运行（一）编译（二）运行（三）验证 一、题目需求 使用Scala语言编写Spark应用程序实现数据去重（需要使用编译打包工具Maven或sbt进行编译打包）。 对于两个输入文件A和B，编写Spark独立应用程序，
6.编写Spark独立应用程序(sbt)（华为云学习笔记，Spark编程基础，大数据）
GCPOP的博客
06-13 1608
编写Spark独立应用程序(sbt) ① 使用Scala语言编写Spark独立应用程序； ② 使用sbt工具对Spark应用程序进行编译打包。 实验原理 -> sbt SBT是一个现代化的构建工具。虽然它由Scala编写并提供了很多Scala便利，但它是一个通用的构建工具。可以使用sbt工具，对采用Scala语言编写的Spark应用程序进行编译打包。1. 安装sbt工具 下载安装包请打开浏览器访问如下链接进行下载拷贝代码 http://file.ictedu.com/fileserver/big_data_
使用sbt对Scala程序进行打包并运行（Spark单机运行）
在职后端开发工程师的学习笔记
03-03 161
十、使用sbt对Scala程序进行打包并运行(Spark单机运行) 在./sparkapp 中新建文件 simple.sbt(vim ./sparkapp/simple.sbt)，添加内容如下，声明该独立应用程序的信息以及与 Spark 的依赖关系： name := "Simple Project" version := "1.0" scalaVersion := "2.11.8" libr...
sbt 编译打包 scala
hj1993的博客
02-07 893
sbt 编译打包 scala
通过sbt参数实现scala代码编译控制
Shie_3的博客
06-11 941
因为我们基于spark的数据平台需要针对不同的spark版本进行代码的兼容，和项目构建的方便。需要通过使用sbt构建项目时通过指定spark版本来构建依赖不同spark版本的代码。 首先，我们将不兼容的项目代码分别放到不同的目录下，目录结构如下： 然后，通过不同指定不同的spark版本编译不同的兼容代码即可，具体sbt配置如下： val sparkV = "2.3.0" lazy ...
ubuntu中sbt安装、打包及运行scala
liuliuliuliu666的博客
05-18 7092
记录下SBT打包ubuntu中用sbt打包1. sbt的安装2.创建 scala 文件3.用sbt打包 ubuntu中用sbt打包 刚学spark,就被折磨了好几天，现在记录下sbt打包。 1. sbt的安装 （1）从 http://www.scala-sbt.org 下载文件sbt-1.3.8.tgz 保存到下载目录。假设下载目录为“～/下载”，安装目录为“/usr/local/sbt” （2）在终端输入以下内容 sudo mkdir /usr/local/sbt 　　　# 创建安
SBT打包编译流程
Cheengvho的博客
08-23 8635
scala文件写好为前提。 在项目目录创建一个sbt文件 $ vim simple.sbt 编写simple.sbt文件，以下为该文件的内容： name := "Simple Project" version := "1.0" scalaVersion := "2.11.8" libraryDependencies += "org.apache.spark" %% "spark-cor...
sbt创建spark程序（windows下）
xiaoran_zhu的专栏
12-21 1421
1 安装sbt 官方网站：http://www.scala-sbt.org/  解压下载包，把sbt/bin放到环境变量PATH下便可。 通常先添加环境变量SBT_HOME,再把SBT_HOME/bin添加到PATH中 假设把sbt-0.13.6.tgz解压到F:\sbt\中，设置如下环境变量： 添加到Path中： 找到一下目录 找到文件夹~/.sbt/0.13/pl
如何使用sbt或者maven编译打包运行
qq_44494957的博客
10-15 2435
1 安装编译打包工具 1).安装sbt sbt是一款Spark用来对scala编写程序进行打包的工具，Spark 中没有自带 sbt，需要下载安装 下载sbt安装包以后，执行如下命令拷贝至 /usr/local/sbt 中： 接着在 /usr/local/sbt 中创建 sbt 脚本（vim ./sbt），添加如下内容： // An highlighted block #!/bin/bash SBT_OPTS="-Xms512M -Xmx1536M -Xss1M -XX:+CMSClassUnloadi
sbt安装配置与打包
kyj3518861703的博客
04-18 7049
一：安装配置 1.下载安装包 官网下载地址：sbt - Download 将下载好的sbt-1.6.1.tgz解压到相应目录：/home/kyj/soft，这里我们使用版本为1.6.1，注意版本的选择 2.解压安装包并放在/home/kyj/soft中： tar -zxvf sbt-1.6.1.tgz sbt 3.文件赋予权限 KYJ为系统用户，/home/KYJ/soft/sbt为sbt安装目录 chown -R KYJ /home/KYJ/soft/sbt 4.将位于sbt/bin下面的
sbt编译入门
weixin_33720452的博客
01-13 531
非托管依赖 为放在 lib 目录下的 jar 文件 托管依赖 配置在构建定义中，并且会自动从仓库（repository）中下载 非托管依赖 大多数人会用托管依赖而非非托管依赖。但是非托管依赖在起步阶段会简单很多。 非托管依赖像这样工作：将 jar 文件放在 lib 文件夹下，然后它们将会被添加到项目的 classpath 中。没有更多...
Linux安装sbt过程详解
热门推荐
白杨的专栏
11-06 2万+
1. 下载sbt安装包下载地址点这里。2. 解压文件tar zxvf sbt-0.13.9.tgz 3. 建立启动sbt的脚本文件在./sbt目录下面新建文件名为sbt的文本文件$ cd ./sbt $ vim sbt # 在sbt文本文件中添加如下信息： BT_OPTS="-Xms512M -Xmx1536M -Xss1M -XX:+CMSClassUnloadingEnabled -XX:Max
使用sbt对Scala独立应用程序进行编译打包
03-25
<think>好的，我现在需要帮助用户了解如何使用sbt编译和打包Scala独立应用程序。首先，我得回想一下自己之前学过的关于sbt的知识，或者看看用户提供的参考资料。用户给出了四个引用，看起来都是关于sbt安装、编译打包Spark或Scala程序的步骤。 首先，用户的问题是如何使用sbt编译并打包一个可运行的Scala独立应用。我需要整理出清晰的步骤，确保结构合理，符合用户的要求，比如分步骤说明，可能需要先安装sbt，然后创建目录结构，编写代码，配置构建文件，最后编译打包和运行。 接下来，我需要确认sbt的安装步骤。根据引用[1]，sbt是用Scala编写的，用户可能需要先安装sbt。在Linux下安装sbt的过程可能包括下载安装包或者使用包管理器。不过用户可能已经安装了sbt，所以可能不需要详细安装步骤，但或许应该简要提及，以备用户参考。 然后，项目结构是关键。标准的sbt项目结构是怎样的呢？通常有src/main/scala目录，还有build.sbt文件。引用[2]和[3]中提到的一些命令，比如sbt compile、sbt package，这些命令的作用需要解释清楚。比如sbt compile是编译，sbt package是打包成JAR文件。 构建文件build.sbt需要配置项目名称、版本、Scala版本以及可能的依赖项。例如，如果用户的应用是独立的不需要Spark，可能不需要添加Spark依赖，但如果是Spark应用，则需要。根据引用[3]和[4]，用户可能是在处理Spark程序，但问题中的“Scala独立应用程序”可能指的是不依赖Spark的普通应用。不过需要确认，用户可能混淆了两种情况。需要分情况说明吗？或者假设是普通的Scala应用？ 假设是普通的Scala应用，那么build.sbt中可能不需要添加Spark库。但用户提供的引用中有关于Spark的，所以可能用户的问题实际是关于Spark应用的。需要仔细看问题。用户的问题明确是“Scala独立应用程序”，但引用的资料中大部分是Spark相关。可能需要明确区分两种情况。或者可能用户的问题实际上是想打包一个Spark应用，但问题描述为独立应用。需要根据问题本身来判断。 根据问题中的“Scala独立应用程序”，应该是不依赖Spark的普通应用。因此，在build.sbt中不需要添加Spark依赖。但如果用户实际上需要的是Spark应用，可能需要额外步骤。可能需要指出，如果是Spark应用，需要添加相关依赖。 接下来，用户需要编写Scala代码。主类需要包含main方法，作为入口。例如，一个简单的Hello World程序。 然后，执行sbt命令：sbt compile进行编译，sbt package生成JAR包。生成的JAR文件位于target目录下。然后，用户可以用scala命令运行，或者如果包含依赖，可能需要使用其他方式。但独立应用的话，可能可以直接运行。 但根据引用[4]中的例子，运行Spark应用时使用spark-submit，而如果是普通应用，可以使用java -jar或者scala命令。不过通常sbt打包的JAR可能需要指定主类，并且可能需要正确的清单文件。可能需要使用sbt assembly插件来生成包含所有依赖的JAR，但如果是独立应用，可能没有外部依赖，所以普通的sbt package就足够了。 可能需要提醒用户，如果应用有外部依赖，需要在build.sbt中添加，并使用适当的方法打包。但基础步骤应该包括创建项目结构、build.sbt、源代码，然后运行sbt package。 另外，用户提供的引用中有提到执行sbt run，这可能是在本地运行程序，而不需要打包。所以步骤可能包括编译、打包、运行。但用户的问题是关于编译打包，所以重点在package步骤。 现在需要将这些步骤组织成逐步的说明，确保符合用户的要求，比如结构清晰，步骤正确，参考用户的引用资料中的信息。可能需要引用提供的资料中的某些部分，例如引用[2]中的sbt compile，sbt package，引用[4]中的运行命令等。 可能还需要注意是否需要插件或其他配置，例如sbt-assembly，但基础打包可能不需要。用户的问题可能只需要基本的sbt package步骤，所以生成一个普通的JAR文件，然后使用scala或java命令运行。 最后，生成相关问题，可能涉及如何添加依赖，如何处理依赖冲突，如何运行打包后的JAR等。 现在需要检查是否有遗漏步骤，比如项目目录结构是否正确，build.sbt的配置是否正确，是否需要指定mainClass等。例如，在sbt中，如果项目有多个主类，可能需要指定，但通常如果只有一个，sbt会自动识别。不过为了确保，可以在build.sbt中设置mainClass in (Compile, packageBin) := Some("com.example.Main")，但可能不需要，如果代码中只有一个main方法的话。 总结步骤： 1. 安装sbt（如果未安装） 2. 创建项目目录结构 3. 编写Scala代码（包含main方法） 4. 配置build.sbt 5. 执行sbt命令编译打包 6. 运行生成的JAR 需要详细说明每个步骤，并引用相关参考资料中的内容。例如，引用[1]提到sbt的安装，引用[2]中的sbt compile和package命令，引用[4]中的运行命令。 可能还需要提到，在运行JAR时使用java -jar命令，但需要注意清单文件中是否正确指定了Main-Class。而sbt生成的JAR可能不会自动包含这个，因此可能需要使用sbt插件如sbt-assembly来正确配置。但根据sbt的默认行为，是否会自动生成正确的清单？ 例如，使用sbt package默认生成的JAR可能不包含Main-Class属性，因此无法直接通过java -jar运行。此时，用户可能需要手动运行，比如使用scala -cp xxx.jar MainClass，或者在build.sbt中配置。这可能是一个需要注意的地方。 例如，在build.sbt中添加： mainClass in (Compile, packageBin) := Some("example.HelloWorld") 或者在项目配置中设置，以确保生成的JAR的清单中包含Main-Class。或者可能需要使用sbt-native-packager插件来生成可执行的JAR。 如果用户按照常规步骤打包后无法直接运行，可能需要进一步说明如何处理。例如，如果使用sbt package生成的JAR没有主类清单，那么运行的时候需要指定主类： java -cp target/scala-2.13/your-project_2.13-0.1.0.jar example.HelloWorld 或者在sbt配置中确保主类被正确设置。这可能是一个进阶步骤，但用户可能需要知道这一点，否则可能遇到问题。 所以在步骤中，应该说明如何运行生成的JAR，可能需要两种方式：通过sbt run，或者通过java命令指定classpath和主类。 综上所述，需要将这些细节整理成清晰的步骤，确保用户能够顺利编译、打包并运行他们的Scala独立应用程序。</think>### 如何使用sbt编译并打包Scala独立应用 以下是使用sbt编译和打包Scala独立应用程序的详细步骤： --- #### **1. 安装sbt** - 在Linux系统中，可通过以下命令安装sbt（需提前安装JDK）： ```bash # 下载sbt的DEB包并安装（以Ubuntu为例） wget https://repo.scala-sbt.org/scalasbt/debian/sbt-1.6.2.deb sudo dpkg -i sbt-1.6.2.deb ``` 安装完成后，验证是否成功： ```bash sbt sbtVersion ``` 若输出版本号（如`1.6.2`），则安装完成[^1]。 --- #### **2. 创建项目目录结构** sbt要求特定的目录结构： ```bash mkdir -p myapp/src/main/scala ``` - `myapp`：项目根目录 - `src/main/scala`：存放Scala源代码 - 在根目录下新建文件`build.sbt`（项目配置文件）。 --- #### **3. 编写Scala代码** 在`src/main/scala`目录下创建主程序文件（如`HelloWorld.scala`）： ```scala object HelloWorld { def main(args: Array[String]): Unit = { println("Hello, Scala!") } } ``` --- #### **4. 配置构建文件`build.sbt`** 在项目根目录下编辑`build.sbt`，添加以下内容： ```scala name := "HelloWorld" version := "1.0" scalaVersion := "2.13.10" // 根据实际版本调整 ``` - `scalaVersion`需与本地安装的Scala版本一致[^2]。 --- #### **5. 编译与打包** 在项目根目录下执行以下命令： 1. **编译代码**： ```bash sbt compile ``` 2. **打包为JAR**： ```bash sbt package ``` 生成的JAR文件位于`target/scala-<版本>/<项目名>_<scala版本>-<项目版本>.jar`，例如： ```bash target/scala-2.13/HelloWorld_2.13-1.0.jar ``` --- #### **6. 运行应用程序** - **通过sbt直接运行**： ```bash sbt run ``` - **通过JAR文件运行**： ```bash scala -cp target/scala-2.13/HelloWorld_2.13-1.0.jar HelloWorld ``` 若需使用`java -jar`，需确保JAR包含主类信息，可借助`sbt-assembly`插件生成可执行JAR[^4]。 --- #### **扩展：添加依赖项** 若项目依赖第三方库（如`scala-test`），需在`build.sbt`中声明： ```scala libraryDependencies += "org.scalatest" %% "scalatest" % "3.2.15" % Test ``` 重新执行`sbt compile`和`sbt package`即可[^3]。 ---
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

梦岚如雪

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值