SBT命令打包流程

最新推荐文章于 2023-10-23 09:17:15 发布
最新推荐文章于 2023-10-23 09:17:15 发布
阅读量1.1w 收藏 1
点赞数 1
分类专栏： 【Scala】
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/laiwenqiang/article/details/49511867
版权
打包

需要给工程打个jar包，到对应的目录下，执行命令行参数：

sbt assembly


堆栈溢出

出现错误：java.lang.StackOverflowError

对于这个溢出，需要更改stack的大小，找到sbt的配置文件：sbtconfig.txt，添加内容：

-Xss2m


内存溢出

出现错误：java.lang.OutOfMemoryError

常见的内存溢出现象，添加配置信息：

-Xms64m
-Xmx500m

大小可以自行更改。

配置信息一览

-Xms64m
-Xmx500m
-Xss2m
-XX:PermSize=100M
-XX:MaxNewSize=200m
-XX:MaxPermSize=400m





















laiwenqiang
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
sbt安装配置与打包
kyj3518861703的博客
04-18 6679
一：安装配置 1.下载安装包 官网下载地址：sbt - Download 将下载好的sbt-1.6.1.tgz解压到相应目录：/home/kyj/soft，这里我们使用版本为1.6.1，注意版本的选择 2.解压安装包并放在/home/kyj/soft中： tar -zxvf sbt-1.6.1.tgz sbt 3.文件赋予权限 KYJ为系统用户，/home/KYJ/soft/sbt为sbt安装目录 chown -R KYJ /home/KYJ/soft/sbt 4.将位于sbt/bin下面的
了解、安装sbt，使用sbt（console、IDEA）以及IDEA中打包spark的jar包
王某的博客
11-13 1万+
本文测试环境： ● Win10 ● Scala-2.12.3 ● Spark-2.2.0 ● Sbt-1.0.0 ● JDK-1.8 ● IDEA-2017.1.4 ● Git(IDEA下载SBT插件时可能会用到) ● 2017/8/26(文章写完一直忘了发到博客上) 我在配置IDEA+scala&sbt的过程中走了不少弯路，所以记录一下配置
sbt 编译打包 scala
hj1993的博客
02-07 656
sbt 编译打包 scala
Linux中使用sbt打包spark项目并运行
风
05-17 472
版本说明：sbt:1.8.0。
使用IDEA配置sbt，编译打包Scala代码
最新发布
qq_52147555的博客
10-23 1721
IDEA配置sbt，编译打包Scala代码
SBT安装及命令行打包spark程序
wuyy0224的博客
10-02 1669
该程序计算 /usr/local/spark/README 文件中包含 “a” 的行数 和包含 “b” 的行数。代码第8行的 /usr/local/spark 为 Spark 的安装目录，如果不是该目录请自行修改。在上面的配置信息中，scalaVersion用来指定scala的版本，sparkcore用来指定spark的版本，这两个版本信息都可以在之前的启动 Spark shell 的过程中，从屏幕的显示信息中找到。上面的命令输出的东西会特别多，所以也可以通过管道化来筛选跟输出指定的信息。
sbt-1.9.0.tgz
08-07
例如，`sbt package`命令将项目打包为JAR，`sbt assembly`则创建Uberjar。 5. **任务和设置**：SBT中的任务是构建过程中的可执行操作，如`clean`清理编译产生的临时文件，`run`运行应用程序。设置则定义项目属性，...
sbt-1.3.1压缩包
06-10
这个“sbt-1.3.1压缩包”包含了用于管理和构建Scala项目的全部必要组件，使得开发人员能够轻松地进行编译、测试、打包和部署等任务。 1. **SBT的核心概念** - **项目定义**：在SBT中，项目定义通过`build.sbt`文件...
sbt-1.3.8.tar.gz
04-05
开发者可以通过简单的命令定义项目结构、依赖关系、编译、打包等任务。 2. **依赖管理**：sbt支持Maven仓库和 Ivy仓库，可以自动下载项目所需的库和依赖。在1.3.8版本中，它已经优化了依赖解析速度，提高了构建效率...
sbt 0.13.15安装包
06-15
**SBT 0.13.15 安装与使用详解** ...虽然随着技术的发展，新的SBT版本已经推出，但对于仍在使用0.13.x系列的项目，理解其工作原理和操作流程仍然是必要的。通过熟练掌握SBT，开发者可以更有效地管理和构建Scala项目。
sbt-0.13.17
04-16
6. **打包项目**：使用`sbt package`命令可以生成JAR或WAR文件，`sbt assembly`则用于创建可部署的fat JAR。 7. **发布项目**：如果你的项目准备就绪，可以通过`sbt publish`将它发布到私有或公共仓库供他人使用。 ...
运行spark——4.sbt打jar包
ant的博客
04-19 2102
sbt 是 scala 的编译工具 安装： curl https://bintray.com/sbt/rpm/rpm > bintray-sbt-rpm.repo sudo mv bintray-sbt-rpm.repo /etc/yum.repos.d/ sudo yum install sbt 验证：（会等很长时间） root@hadoop01 ~]# sbt sbt...
sbt打包各种错误总结
qq_44743615的博客
05-09 1万+
最近两天在做spark小项目的开发，需要用sbt打包，（maven和sbt下载依赖属实慢的蛋疼啊啊）。。使用默认的https路径，有些依赖jar包无法下载。（我连sbt sbtVersion都下了一天。。） 在网上找到的一些教程中，很多博主的解决方案是在~/.sbt/目录下新建一个repo.repositories文件，在其中添加有关依赖，例如阿里云和开源中国的仓库。但这些有关sbt下载的博文都是三四年前的，有些仓库不能用了。我在使用oschina或者aliyun的仓库时，命令行提示警告如下： [Warn]
子雨大数据之Spark入门教程---Spark的安装和使用sbt、maven打包代码 2.1
飘过的春风
02-23 5233
Spark可以独立安装使用，也可以和Hadoop一起安装使用。本教程中，我们采用和Hadoop一起安装使用，这样，就可以让Spark使用HDFS存取数据。需要说明的是，当安装好Spark以后，里面就自带了scala环境，不需要额外安装scala，因此，“Spark安装”这个部分的教程，假设读者的计算机上，没有安装Scala，也没有安装Java（当然了，如果已经安装Java和Scala，也没有关系，...
SBT打包编译流程
Cheengvho的博客
08-23 8488
scala文件写好为前提。 在项目目录创建一个sbt文件 $ vim simple.sbt 编写simple.sbt文件，以下为该文件的内容： name := "Simple Project" version := "1.0" scalaVersion := "2.11.8" libraryDependencies += "org.apache.spark" %% "spark-cor...
Container exited with a non-zero exit code 1 Failing this attempt. Failing the application.
ZMC921的博客
04-24 3864
最近在使用spark on yarn模式提交任务，下面是我测试的案例--提交命令spark-submit --master yarn-cluster --class com.htlx.sage.bigdata.spark.etl.Application --driver-memory 1g --num-executors 2 --executor-memory 2g --executor-core...
sbt的安装以及用sbt编译打包scala编写的spark程序
梦岚如雪
05-18 2万+
众所周知，spark可以使用三种语言进行编写，分别是scala，phython，java三种语言，而且执行方式不同，Scala是用sbt编译打包，Java是用Maven进行编译打包，而phython则是用spark-submit提交运行。而sbt本身就是用scala进行编写的。这里记录以下自己在Linux下安装sbt的过程以及编译打包spark程序的流程，以做备忘。1 .首先进入根目录创建相应的目录
sbt使用详解
热门推荐
BlueSky
11-20 2万+
前两天安好的sbt但是在真正的用的时候还是遇到很多问题，所以在系统学习了解下。 安装： 我的系统为centos6.5故采用官方提供的在线安装： curl https://bintray.com/sbt/rpm/rpm > bintray-sbt-rpm.repo sudo mv bintray-sbt-rpm.repo /etc/yum.repos.d/ sudo yum install s
shell命令行中用sbt打包scala程序为jar包 并发布到集群中测试
Gamedev
02-22 3439
1. sbt安装 下载sbt文件，并在Linux中解压二进制的sbt软件包，这里提供下载地址 https://www.scala-sbt.org/download.html 在解压后进入目录，然后执行./bin/sbt，第一次执行时会从网上下载依赖的JAR包，并保存到~/.sbt： [elon@hadoop ~]$ tar xf sbt-1.1.1.tgz [elon@hadoop ~]$ ...
sbt打包时显示not found value sc
05-23
这个错误通常是因为 sbt 无法找到 `sc` 的定义。`sc` 通常是 SparkContext 的实例，需要在代码中进行定义和创建。 如果你在使用 sbt 打包时遇到了这个错误，可能是由于你没有在 sbt 的配置文件（例如 `build.sbt`）中指定 Spark 相关的依赖项。你需要确认你的 sbt 配置文件中包含以下内容： ```scala libraryDependencies += "org.apache.spark" %% "spark-core" % "2.4.7" ``` 如果你已经添加了这个依赖项，但仍然遇到了这个错误，你需要确认你的代码中是否正确地创建了 `SparkContext` 的实例。例如，在 Scala 中，你可以通过以下方式创建 `SparkContext` 的实例： ```scala import org.apache.spark.{SparkConf, SparkContext} val conf = new SparkConf().setAppName("MyApp") val sc = new SparkContext(conf) ``` 如果你仍然无法解决问题，请提供更多详细信息，例如你的代码和 sbt 配置文件，以便我们更好地帮助你解决问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值