编写第一个用scala写的spark任务，用sbt打包成jar，并单机模式下运行

最新推荐文章于 2022-05-28 22:01:41 发布
最新推荐文章于 2022-05-28 22:01:41 发布
阅读量6.1k 收藏 1
点赞数
分类专栏： 分布式系统_spark 文章标签： spark scala sbt
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/make_app/article/details/50596317
版权
本文介绍了如何使用Scala编写第一个Spark应用，通过sbt打包成jar，并在本地单机模式下运行。文章详细阐述了编写过程、sbt打包注意事项以及本地测试的命令行操作。
摘要由CSDN通过智能技术生成

一、编写第一个用scala写的spark应用：

仿照spark的 quick-start的Self-Contained Applications写出第一个scala完整程序
链接如下：
http://spark.apache.org/docs/latest/quick-start.html

即：

/* SimpleApp.scala */
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf

object SimpleApp {
   
  def main(args
最低0.47元/天 解锁文章
make_APP
关注
专栏目录
sbt打包WordCount的过程
xuguokun1986的博客
10-20 1207
1.在安装有spark的客户端上安装sbt（请参考上一篇博客） 2.在一台slave终端机的/home/hadoop1/xuguokun/下创建WordCount文件夹。 3.创建build.sbt文件，该文件的里面的内容如下：name := "o2o-spark" version := "0.1" scalaVersion := "2.10.4" libraryDependencies
运行spark——4.sbt打jar包
ant的博客
04-19 2115
sbt 是 scala 的编译工具 安装： curl https://bintray.com/sbt/rpm/rpm > bintray-sbt-rpm.repo sudo mv bintray-sbt-rpm.repo /etc/yum.repos.d/ sudo yum install sbt 验证：（会等很长时间） root@hadoop01 ~]# sbt sbt...
sbt打包的jar包提交到spark
weizheng1000的专栏
11-18 2079
使用idea创建sbt项目，创建过程详见url：http://blog.csdn.net/bitbyteworld/article/details/52782776?locationNum=15&fps=1 在项目根目录下，打开终端，输入sbt命令，会出现“>”符号，继续输入package命令打包完成 使用spark-submit命令提交到spark中 本地提交命令：spark-submit
spark任务运行及jar包
xx7330842的专栏
10-26 2514
spark的jar包没必要把所有相关的依赖都打进一个jar包中，因为这样会把spark、hadoop本身相关的jar包也打进去，但是这些依赖在用spark-submit命令运行时，会自动加载部署环境中已有的。   /opt/cloudera/parcels/CDH/bin/spark-submit \ --class "cn.icarevision.its007.upgrade.EsInde
sbt打包scala参数_如何使用sbt将Scala项目打包到.jar？
cuma2369的博客
07-24 992
sbt打包scala参数How to package a Scala project to a .jar file with sbt? Manually packaging the .class files are fine but too tedious. 如何使用sbt将Scala 项目打包到.jar文件？ 手动打包.class 文件很好，但是太麻烦了。 A jar of just the ...
IDEA中scala实现word_count，sbt打jar包，并发送linux中spark运行(sbt打包详细)
weixin_41512727的博客
04-24 1606
文章目录0-背景1-spark安装2-IDEA开发3-参考 0-背景 最近因为业务需求，开始鼓捣下kafka和spark。因为也是第一次做这方面的内容，而且没玩过java和scala。所以这个word count的例子，鼓捣了近两天才出结果。 整个流程如下：首先搭建虚拟机，安装ubuntu。然后在linux中安装spark。最后再本地的IDEA中开发scala，并打包jar包，发送到spark系统...
sbt的安装以及用sbt编译打包scala编写的spark程序
热门推荐
梦岚如雪
05-18 2万+
众所周知，spark可以使用三种语言进行编写，分别是scala，phython，java三种语言，而且执行方式不同，Scala是用sbt编译打包，Java是用Maven进行编译打包，而phython则是用spark-submit提交运行。而sbt本身就是用scala进行编写的。这里记录以下自己在Linux下安装sbt的过程以及编译打包spark程序的流程，以做备忘。1 .首先进入根目录创建相应的目录
ubuntu中sbt安装、打包及运行scala
liuliuliuliu666的博客
05-18 6694
记录下SBT打包ubuntu中用sbt打包1. sbt的安装2.创建 scala 文件3.用sbt打包 ubuntu中用sbt打包 刚学spark,就被折磨了好几天，现在记录下sbt打包。 1. sbt的安装 （1）从 http://www.scala-sbt.org 下载文件sbt-1.3.8.tgz 保存到下载目录。假设下载目录为“～/下载”，安装目录为“/usr/local/sbt” （2）在终端输入以下内容 sudo mkdir /usr/local/sbt 　　　# 创建安
如何使用sbt或者maven编译打包运行
qq_44494957的博客
10-15 2238
1 安装编译打包工具 1).安装sbt sbt是一款Spark用来对scala编写程序进行打包的工具，Spark 中没有自带 sbt，需要下载安装 下载sbt安装包以后，执行如下命令拷贝至 /usr/local/sbt 中： 接着在 /usr/local/sbt 中创建 sbt 脚本（vim ./sbt），添加如下内容： // An highlighted block #!/bin/bash SBT_OPTS="-Xms512M -Xmx1536M -Xss1M -XX:+CMSClassUnloadi
idea利用sbt打包scala程序为jar包 并发布到集群中测试
Gamedev
02-22 1万+
前提条件是创建好了wordcount项目，可以参考Scala官方IDE教程 Getting Started with Scala in IntelliJ Building a Scala Project with IntelliJ and sbt Spark Quick Start https://spark.apache.org/docs/latest/quick-start.html#s...
Linux spark sbt打包遇到的各种问题
KevinLi的博客
12-17 4437
1、安装sbt 首先安装sbt 的时候就遇到了很慢很慢很慢的问题，在这里参考林子雨老师的教程，用了几分钟就完成了，不可思议~林老师说他用了一个月，看来我运气比较好 根据老师的方法，要修改仓库为国内仓，这里用到的是华为云。具体的过程都在文章里了，在哪里下载sbt文章里也有的。 链接在这里：林子雨spark 出现这样，就说明安装成功了！ 2、用sbt package打包卡住了，报错猜测可能是sbt-lunch-jar包有问题 这里忘记截报错的图了，但看意思就是这个jar包有问题，如果大家有同样的问题，可以参
scala程序打包成可执行jar包(sbt package和sbt assembly)
springlustre的专栏
05-28 2104
使用sbt-assembly插件对sbt构建的scala程序进行打包，生成可以通过“java -jar”命令来执行jar包。
了解、安装sbt，使用sbt（console、IDEA）以及IDEA中打包spark的jar包
王某的博客
11-13 1万+
本文测试环境： ● Win10 ● Scala-2.12.3 ● Spark-2.2.0 ● Sbt-1.0.0 ● JDK-1.8 ● IDEA-2017.1.4 ● Git(IDEA下载SBT插件时可能会用到) ● 2017/8/26(文章写完一直忘了发到博客上) 我在配置IDEA+scala&sbt的过程中走了不少弯路，所以记录一下配置
Spark学习: Spark-Scala-IntelliJ开发环境搭建和编译Jar包流程
databatman的工厂
08-29 1万+
spark-scala使用IntelliJ搭建的开发环境。
scala程序打包成jar包运行
quitozang的博客
11-28 4420
add jar时将scala同时打包 scala -J-Xmx14000m MyScala.jar [args]
Container exited with a non-zero exit code 1 Failing this attempt. Failing the application.
ZMC921的博客
04-24 3896
最近在使用spark on yarn模式提交任务，下面是我测试的案例--提交命令spark-submit --master yarn-cluster --class com.htlx.sage.bigdata.spark.etl.Application --driver-memory 1g --num-executors 2 --executor-memory 2g --executor-core...
Spark学习（单机本地提交作业）
三人行必有我师,手写三行必有所悟
09-06 3681
1）spark-1.3.0-bin-hadoop2.4.tar 解压后是可以直接在Windows下运行的，当然这时只是单机模式。2）本地提交的方法是在Spark的解压主目录下（CMD）进入，输入：bin\spark-submit --class ScalaMain ./test/ScalaJarT.jar local其中ScalaMain是类名（记得命名空间不能丢，我的这个类是没有命名空间的），本
Idea16使用Maven编译scala和打包jar
Javis486的专栏
12-08 8692
下面Maven的pom文件 1.7 1.7 UTF-8 2.11.7 2.11 org.scala-lang scala-library ${scala.version}
用idea 写一个spark实现清洗数据功能执行程序，并打成的 jar 包
最新发布
05-25
首先，你需要安装 Spark 和 Scala，并确保它们可以在你的机器上正常工作。 然后按照以下步骤操作： 1. 创建一个新的 Scala 项目，并在其中添加...以上就是用 Scala 和 Spark 实现数据清洗功能并打包成 jar 包的过程。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值