sbt的安装以及用sbt编译打包scala编写的spark程序

最新推荐文章于 2024-05-27 08:29:50 发布
最新推荐文章于 2024-05-27 08:29:50 发布
阅读量2.5w 收藏 19
点赞数 11
分类专栏： spark Linux Scala 文章标签： spark scala linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a532672728/article/details/72477591
版权

众所周知，spark可以使用三种语言进行编写，分别是scala，phython，java三种语言，而且执行方式不同，Scala是用sbt编译打包，Java是用Maven进行编译打包，而phython则是用spark-submit提交运行。而sbt本身就是用scala进行编写的。这里记录以下自己在Linux下安装sbt的过程以及编译打包spark程序的流程，以做备忘。

1 .首先进入根目录创建相应的目录结构，执行下面的这些命令,这里-p参数表示创建多级目录
这里写图片描述

2 .之后通过cd 命令进入这里创建的scala目录下，通过vim SimpleApp.scala创建scala文件，里面是空的，添加下面这些内容，这个程序是用来统计一个文本中含有字母a和含有字母b的行数，这里指定的logFile是存放在Linux下的相应目录下，注意这里是///,这个logFile可以在windows下创建通过xftp4进行传输，也可以直接在linux下直接创建，这个内容是Spark压缩包中自带的

最低0.47元/天 解锁文章
梦岚如雪
关注
  • 11
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 7
    评论
专栏目录
了解、安装sbt，使用sbt（console、IDEA）以及IDEA中打包spark的jar包
王某的博客
11-13 1万+
本文测试环境： ● Win10 ● Scala-2.12.3 ● Spark-2.2.0 ● Sbt-1.0.0 ● JDK-1.8 ● IDEA-2017.1.4 ● Git(IDEA下载SBT插件时可能会用到) ● 2017/8/26(文章写完一直忘了发到博客上) 我在配置IDEA+scala&sbt的过程中走了不少弯路，所以记录一下配置
通过sbt参数实现scala代码编译控制
Shie_3的博客
06-11 831
因为我们基于spark的数据平台需要针对不同的spark版本进行代码的兼容，和项目构建的方便。需要通过使用sbt构建项目时通过指定spark版本来构建依赖不同spark版本的代码。 首先，我们将不兼容的项目代码分别放到不同的目录下，目录结构如下： 然后，通过不同指定不同的spark版本编译不同的兼容代码即可，具体sbt配置如下： val sparkV = "2.3.0" lazy ...
如何安装sbt（sbt在ubuntu上的安装与配置）（有详细安装网站和图解）
weixin_66547608的博客
04-25 1961
教你如何安装配置sbt，使用sbt进行一些打包命令，用详细图解和代码，新手小白也可以使用
安装sbt利用开发工具IntelliJ IDEA编写Spark应用程序（Scala+SBT）参考林子雨教程
最新发布
m0_68165821的博客
05-27 1188
备注：这里需要注意，在Intellij Idea启动时，会执行“extracting project structure from sbt”的操作，也就是把sbt所需要的项目结构从远程服务器拉取到本地，在本地会生成sbt所需要的项目结构。sbt需要下载安装，可以访问“http://www.scala-sbt.org”下载安装文件sbt-1.3.8.tgz，保存到下载目录。我们点击Install，就会开始下载安装插件，安装完成后，我们点击Restart IDE，重启后，就可以显示中文的IDEA界面了。
idea利用sbt打包scala程序为jar包 并发布到集群中测试
热门推荐
Gamedev
02-22 1万+
前提条件是创建好了wordcount项目，可以参考Scala官方IDE教程 Getting Started with Scala in IntelliJ Building a Scala Project with IntelliJ and sbt Spark Quick Start https://spark.apache.org/docs/latest/quick-start.html#s...
13.Linux下sbt编译打包Spark程序 和 Maven编译打包Scala程序
ghw666666666的博客
10-23 1383
README文件中包含“a”和“b”的行数，并打印结果。这段代码的作用是计算/usr/local/通过spark-submit运行程序。
sbt 编译打包 scala
hj1993的博客
02-07 657
sbt 编译打包 scala
Scala基础(12)Spark命令参数及独立应用程序
01-20
在`SimpleApp.scala`中编写你的Spark应用程序，然后使用`sbt package`命令打包，生成的JAR包通常位于`~/.ivy2/cache`或项目指定的`target`目录下。 提交Spark应用程序到集群或本地运行，使用`spark-submit`命令，...
Play-Spark-Scala
02-05
标题 "Play-Spark-Scala" 暗示了这是一个关于使用 Scala 语言集成 Play Framework 和 Apache Spark 的项目。这个项目可能旨在教你如何构建基于 Scala 的数据处理应用，结合了前端的 Play Framework 和后端的数据分析...
sbt-0.13.16.tgz 学习spark用
10-30
在Spark开发中，SBT常被用来构建和管理Spark相关的应用程序，因为它能够很好地集成Scala的生态系统。 描述中提到"官网下载太慢，甚至下载不了"，这可能是因为网络问题或者官方服务器的访问限制，使得用户无法直接从...
详解如何使用Spark和Scala分析Apache访问日志
08-25
可以下载已经编写完成的Apache logfile parser code，并使用SBT进行编译打包。然后，在Linux命令行启动Spark，并上传分析器jar包到Spark中。 在Spark REPL中创建AccessLogParser实例，可以读取Apache访问日志access...
scala-dist：打包Scala发行版的sbt项目
02-20
Scala 2.13.x发行版 该项目将"org.scala-lang" % "scala-dist" % $version Maven工件变形为Scala $version发行$version （zip，tar.gz，deb，rpm和msi）。 要构建发行版，请运行： universal:packageBin构建通用zip安装程序 universal-docs:packageBin构建通用文档zip debian:packageBin构建Debian DEB文件。 需要dpkg-deb rpm:packageBin构建yum RPM文件。 需要rpmbuild windows:packageBin构建Windows MSI。 需要WiX 3.6 另外， s3Upload任务的映射是根据安装程序在其上运行的平台配置的。 在Windows上，它会构建MSI。 在另一个平台上，它将
scala2.12.13_sbt1.4.7
03-06
通过使用Scala和SBT，开发者可以构建高性能、可扩展的系统，尤其在大数据处理、云计算和分布式计算领域，例如Apache Spark就是用Scala编写的。 总的来说，这个压缩包提供的是一套完整的Scala开发环境，包括语言本身...
使用IDEA配置sbt，编译打包Scala代码
qq_52147555的博客
10-23 1729
IDEA配置sbt，编译打包Scala代码
ubuntu中sbt安装、打包及运行scala
liuliuliuliu666的博客
05-18 6622
记录下SBT打包ubuntu中用sbt打包1. sbt的安装2.创建 scala 文件3.用sbt打包 ubuntu中用sbt打包 刚学spark,就被折磨了好几天，现在记录下sbt打包。 1. sbt的安装 （1）从 http://www.scala-sbt.org 下载文件sbt-1.3.8.tgz 保存到下载目录。假设下载目录为“～/下载”，安装目录为“/usr/local/sbt” （2）在终端输入以下内容 sudo mkdir /usr/local/sbt 　　　# 创建安
SBT打包编译流程
Cheengvho的博客
08-23 8488
scala文件写好为前提。 在项目目录创建一个sbt文件 $ vim simple.sbt 编写simple.sbt文件，以下为该文件的内容： name := "Simple Project" version := "1.0" scalaVersion := "2.11.8" libraryDependencies += "org.apache.spark" %% "spark-cor...
sbt创建spark程序（windows下）
xiaoran_zhu的专栏
12-21 1341
1 安装sbt 官方网站：http://www.scala-sbt.org/  解压下载包，把sbt/bin放到环境变量PATH下便可。 通常先添加环境变量SBT_HOME,再把SBT_HOME/bin添加到PATH中 假设把sbt-0.13.6.tgz解压到F:\sbt\中，设置如下环境变量： 添加到Path中： 找到一下目录 找到文件夹~/.sbt/0.13/pl
如何使用sbt或者maven编译打包运行
qq_44494957的博客
10-15 2213
1 安装编译打包工具 1).安装sbt sbt是一款Spark用来对scala编写程序进行打包的工具，Spark 中没有自带 sbt，需要下载安装 下载sbt安装包以后，执行如下命令拷贝至 /usr/local/sbt 中： 接着在 /usr/local/sbt 中创建 sbt 脚本（vim ./sbt），添加如下内容： // An highlighted block #!/bin/bash SBT_OPTS="-Xms512M -Xmx1536M -Xss1M -XX:+CMSClassUnloadi
sbt安装配置与打包
kyj3518861703的博客
04-18 6679
一：安装配置 1.下载安装包 官网下载地址：sbt - Download 将下载好的sbt-1.6.1.tgz解压到相应目录：/home/kyj/soft，这里我们使用版本为1.6.1，注意版本的选择 2.解压安装包并放在/home/kyj/soft中： tar -zxvf sbt-1.6.1.tgz sbt 3.文件赋予权限 KYJ为系统用户，/home/KYJ/soft/sbt为sbt安装目录 chown -R KYJ /home/KYJ/soft/sbt 4.将位于sbt/bin下面的
用scala怎么编写spark项目
07-14
在Scala中编写Spark项目需要遵循以下步骤： 1. 导入依赖：在构建工具中（如sbt或Maven）添加Spark依赖项。例如，在sbt中可以添加以下行： ``` libraryDependencies += "org.apache.spark" %% "spark-core" % "版本号" ``` 2. 创建SparkSession：使用SparkSession作为与Spark交互的入口点。在项目中的某个对象中，你可以创建一个SparkSession实例，如下所示： ```scala import org.apache.spark.sql.SparkSession object MyApp { def main(args: Array[String]): Unit = { val spark = SparkSession.builder() .appName("My Spark App") .master("local[*]") // 这里的[*]表示使用所有可用的CPU核心 .getOrCreate() // 在这里编写你的Spark代码 // ... spark.stop() // 关闭SparkSession } } ``` 3. 编写Spark代码：使用SparkSession来执行各种操作，例如读取数据、转换数据和执行分析。以下是一个简单的示例，读取一个文本文件并计算单词频率： ```scala import org.apache.spark.sql.SparkSession object MyApp { def main(args: Array[String]): Unit = { val spark = SparkSession.builder() .appName("My Spark App") .master("local[*]") .getOrCreate() val textFile = spark.read.textFile("路径/至/文本文件") val wordCounts = textFile.flatMap(line => line.split(" ")) .groupBy(word => word) .count() wordCounts.show() spark.stop() } } ``` 4. 编译和运行项目：使用构建工具（如sbt或Maven）编译项目，并使用命令行或集成开发环境（IDE）运行项目。 这些步骤提供了一个基本的框架来编写Scala中的Spark项目。根据你的具体需求，你可以进一步探索Spark的各种功能和API来处理大规模数据和执行分布式计算。
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

梦岚如雪

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值