Linux 下使用 SBT 构建工具进行 Spark 应用程序开发

最新推荐文章于 2024-04-25 14:51:14 发布
最新推荐文章于 2024-04-25 14:51:14 发布
阅读量468 收藏 1
点赞数
分类专栏： 大数据 文章标签： linux 大数据 sbt
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43570528/article/details/115097408
版权

文章目录

1. 安装配置 SBT

1.1 解压缩并改变属主

1.2在安装目录中使用下面命令创建一个Shell脚本文件，用于启动SBT

在这里插入图片描述

1.3查看sbt版本信息，验证sbt安装成功与否

在这里插入图片描述

2. 使用 Scala 语言编写应用程序

2.1 创建程序根目录，并创建程序所需的文件夹结构

mkdir -p ~/sparkapp/src/main/scala # 创建程序所需的文件夹结构

2.2创建并编写SimpleApp.scala文件

在这里插入图片描述

2.3 创建一个simple.sbt文件，内容如下

在这里插入图片描述

2.4 使用sbt对应用程序进行打包

在这里插入图片描述

3 提交应用程序到Spark运行

在这里插入图片描述

Fernweb_
关注
专栏目录
Linux环境下编写Spark应用程序对HDFS中的包含jpg请求的日志文件进行计数 (Scala)
Cheengvho的博客
07-23 286
目录结构 /home/training/training_materials/dev1/exercises/spark-application/countjpgs/src/main/scala/stubs/CountJPGs.scala 编辑这个文件，代码如下： package stubs import org.apache.spark.SparkContext import org.ap...
Spark 学习笔记（一）使用Intellij Idea编写Spark应用程序（Scala+SBT）
zhaoaiqq的博客
07-31 1298
本文基于踩了无数坑和这篇本地部署的基础上写成。 本文适用于云主机搭建的spark环境下运行spark程序。 运行环境 阿里云主机 Linux部署 Spark 2.3.1 本地JDK 1.8 Intellij Idea (Version 2018) 安装Scala插件 安装Scala插件,该Scala插件自带SBT工具。如果已经安装Scala插件，即可跳过此步骤 ...
开发系列：02、使用Scala和SBT开发Spark应用
weixin_30360497的博客
07-09 146
1、SBT添加插件 .sbt/0.13/plugins/plugins.sbt 没用手工创建 1 addSbtPlugin("com.typesafe.sbteclipse" % "sbteclipse-plugin" % "2.5.0") 2 3 addSbtPlugin("com.github.mpeltonen" % "sbt-idea" % "1.6.0") ...
linux sbt 安装
09-05 2100
在http://www.scala-sbt.org/0.13/tutorial/Manual-Installation.html 网址上下载
JavaSpark编写程序在linux上运行
weixin_48109576的博客
08-04 296
Spark编写程序在linux上运行由于没有指定文件地址,和输出文件地址所以在linux中需要参数 在spark/bin/目录下 ./spark-submit --master spark://linux01:7077--executor-memory 1g--total-executor-cores 8 --class com.51doit.spark.LambdaWordCount -jar hdfs://linux:9000/spark/wordcount.txt hdfs:/...
Linux 安装sbt
weixin_44639164的博客
03-20 2843
已安装JDK8 CentOS7安装JDK1.8 Ubuntu安装 echo "deb https://repo.scala-sbt.org/scalasbt/debian all main" | sudo tee /etc/apt/sources.list.d/sbt.list echo "deb https://repo.scala-sbt.org/scalasbt/debian /" | sudo tee /etc/apt/sources.list.d/sbt_old.list curl -sL ".
Windows下idea运行spark程序相关的hadoop2.7.3插件工具 hadoop.dll winutils.exe
04-05
在Windows环境下，开发和运行Apache Spark程序通常需要与Hadoop生态系统进行交互，因为Spark是构建在Hadoop之上的分布式计算框架。在这个场景中，`hadoop2.7.3-on-windows_X64-master.zip`是一个专门为Windows用户...
java调用spark_详解Java编写并运行spark应用程序的方法
weixin_32187037的博客
02-12 2958
我们首先提出这样一个简单的需求：现在要分析某网站的访问日志信息，统计来自不同IP的用户访问的次数，从而通过Geo信息来获得来访用户所在国家地区分布状况。这里我拿我网站的日志记录行示例，如下所示：121.205.198.92 - - [21/Feb/2014:00:00:07 +0800] "GET /archives/417.html HTTP/1.1" 200 11465 "http://shi...
Spark开发及本地环境搭建指南
08-30
在构建Spark开发环境时，首先需要确保你的计算机上安装了必要的软件，包括但不限于Linux操作系统、Java Development Kit (JDK)、Scala、Maven以及Git等工具。 **环境准备** - **操作系统:** 推荐使用CentOS、Red ...
scala 项目构建工具
08-09
总的来说，Scala 项目构建工具 SBT 0.13.12 是一个强大且灵活的工具，它简化了 Scala 和 Spark 项目的工作流程，提供了高效的依赖管理、增量编译和交互式开发环境。不论你是初学者还是经验丰富的开发者，熟悉并掌握 ...
sbt 1.2.7 windows版本
12-11
sbt的最新编译版本，亲测可用。安装目录请选择没有中文和空格的目录中，可以自动添加环境变量。使用命令行输入sbt，进行测试
Linux中使用sbt打包spark项目并运行
风
05-17 489
版本说明：sbt:1.8.0。
linux下安装sbt_如何在Linux上安装SBT
08-09 996
linux下安装sbt 介绍 (Introduction) Hi! I am Sanjula, and in this guide I hope to teach you how to install sbt on Linux. 嗨！ 我是Sanjula ，我希望在本指南中教您如何在Linux上安装sbt。 Let’s get started! 让我们开始吧！ 什么是sbt？ (What i...
Linux CentOS Spark sbt 安装
qq_41222057的博客
10-21 311
Linux CentOS Spark sbt 安装sbt下载安装参考连接安装 sbt下载安装参考连接 1.Hadoop/Spark安装参考连接 link. 2.参考连接 --> 网盘连接 (1) link. (2) 在网盘下载sbt 安装 1.根据自己喜欢新建目录（我跟着教程走的） # 不好使，切换成了root用户 [root@master hadoop]# sudo mkdir /usr/local/sbt [root@master hadoop]# sudo chown -R hadoop /u
spark入门案例以及sbt安装与打包（Linux环境）
m0_57504851的博客
09-18 3533
sbt 安装与打包应用程序源码放spark-submit执行，包含问题处理
CentOS手动安装sbt过程
jiabiao1602的专栏
08-24 998
地址：http://blog.csdn.net/lizhitao/article/details/46846343 参见官网配置说明http://www.scala-sbt.org/release/tutorial/Manual-Installation.html 1、下载sbt通用平台压缩包：sbt-0.13.5.tgz  http://www.scala-sbt.org/do
如何安装sbt（sbt在ubuntu上的安装与配置）（有详细安装网站和图解）
最新发布
weixin_66547608的博客
04-25 2360
教你如何安装配置sbt，使用sbt进行一些打包命令，用详细图解和代码，新手小白也可以使用
Spark安装和编程实践（Spark2.4.0）
weixin_43279138的博客
04-26 3385
Spark安装和编程实践(Spark2.4.0) 1、安装 Spark2.4.0 首先需要下载Spark安装文件。访问Spark官方下载地址，按照如下图下载。 需要注意的是，本教程内容中Spark采用Local模式进行安装，也就是在单机上运行Spark，因此，在安装Hadoop时，需要按照伪分布式模式进行安装。在单台机器上按照Hadoop(伪分布式)+Spark(Local模式)这种方式进行Ha...
spark安装_大数据研发环境搭建（6）-Spark安装和编程实践
weixin_39834678的博客
11-29 314
一、Spark简介Apache Spark 是一个新兴的大数据处理通用引擎，提供了分布式的内存抽象。Spark 最大的特点就是快，可比 Hadoop MapReduce 的处理速度快 100 倍。Spark四大基本组件：1．Spark SQL2．Spark Streaming and （Structured Streaming）3．Spark MLlib4. Spark GraphX目前行业数...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值