编写第一个用scala写的spark任务，用sbt打包成jar，并单机模式下运行

最新推荐文章于 2022-10-23 12:23:34 发布
最新推荐文章于 2022-10-23 12:23:34 发布
阅读量6.1k 收藏 1
点赞数
分类专栏： 分布式系统_spark 文章标签： spark scala sbt
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/make_app/article/details/50596317
版权
本文介绍了如何使用Scala编写第一个Spark应用，通过sbt打包成jar，并在本地单机模式下运行。文章详细阐述了编写过程、sbt打包注意事项以及本地测试的命令行操作。
摘要由CSDN通过智能技术生成

一、编写第一个用scala写的spark应用：

仿照spark的 quick-start的Self-Contained Applications写出第一个scala完整程序
链接如下：
http://spark.apache.org/docs/latest/quick-start.html

即：

/* SimpleApp.scala */
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf

object SimpleApp {
   
  def main(args
最低0.47元/天 解锁文章
make_APP
关注
专栏目录
sbt打包WordCount的过程
xuguokun1986的博客
10-20 1207
1.在安装有spark的客户端上安装sbt（请参考上一篇博客） 2.在一台slave终端机的/home/hadoop1/xuguokun/下创建WordCount文件夹。 3.创建build.sbt文件，该文件的里面的内容如下：name := "o2o-spark" version := "0.1" scalaVersion := "2.10.4" libraryDependencies
运行spark——4.sbt打jar包
ant的博客
04-19 2115
sbt 是 scala 的编译工具 安装： curl https://bintray.com/sbt/rpm/rpm > bintray-sbt-rpm.repo sudo mv bintray-sbt-rpm.repo /etc/yum.repos.d/ sudo yum install sbt 验证：（会等很长时间） root@hadoop01 ~]# sbt sbt...
sbt打包的jar包提交到spark
weizheng1000的专栏
11-18 2079
使用idea创建sbt项目，创建过程详见url：http://blog.csdn.net/bitbyteworld/article/details/52782776?locationNum=15&fps=1 在项目根目录下，打开终端，输入sbt命令，会出现“>”符号，继续输入package命令打包完成 使用spark-submit命令提交到spark中 本地提交命令：spark-submit
spark任务运行及jar包
xx7330842的专栏
10-26 2514
spark的jar包没必要把所有相关的依赖都打进一个jar包中，因为这样会把spark、hadoop本身相关的jar包也打进去，但是这些依赖在用spark-submit命令运行时，会自动加载部署环境中已有的。   /opt/cloudera/parcels/CDH/bin/spark-submit \ --class "cn.icarevision.its007.upgrade.EsInde
sbt打包scala参数_如何使用sbt将Scala项目打包到.jar？
cuma2369的博客
07-24 992
sbt打包scala参数How to package a Scala project to a .jar file with sbt? Manually packaging the .class files are fine but too tedious. 如何使用sbt将Scala 项目打包到.jar文件？ 手动打包.class 文件很好，但是太麻烦了。 A jar of just the ...
IDEA中scala实现word_count，sbt打jar包，并发送linux中spark运行(sbt打包详细)
weixin_41512727的博客
04-24 1606
文章目录0-背景1-spark安装2-IDEA开发3-参考 0-背景 最近因为业务需求，开始鼓捣下kafka和spark。因为也是第一次做这方面的内容，而且没玩过java和scala。所以这个word count的例子，鼓捣了近两天才出结果。 整个流程如下：首先搭建虚拟机，安装ubuntu。然后在linux中安装spark。最后再本地的IDEA中开发scala，并打包jar包，发送到spark系统...
sbt的安装以及用sbt编译打包scala编写的spark程序
热门推荐
梦岚如雪
05-18 2万+
众所周知，spark可以使用三种语言进行编写，分别是scala，phython，java三种语言，而且执行方式不同，Scala是用sbt编译打包，Java是用Maven进行编译打包，而phython则是用spark-submit提交运行。而sbt本身就是用scala进行编写的。这里记录以下自己在Linux下安装sbt的过程以及编译打包spark程序的流程，以做备忘。1 .首先进入根目录创建相应的目录
ubuntu中sbt安装、打包及运行scala
liuliuliuliu666的博客
05-18 6689
记录下SBT打包ubuntu中用sbt打包1. sbt的安装2.创建 scala 文件3.用sbt打包 ubuntu中用sbt打包 刚学spark,就被折磨了好几天，现在记录下sbt打包。 1. sbt的安装 （1）从 http://www.scala-sbt.org 下载文件sbt-1.3.8.tgz 保存到下载目录。假设下载目录为“～/下载”，安装目录为“/usr/local/sbt” （2）在终端输入以下内容 sudo mkdir /usr/local/sbt 　　　# 创建安
如何使用sbt或者maven编译打包运行
qq_44494957的博客
10-15 2238
1 安装编译打包工具 1).安装sbt sbt是一款Spark用来对scala编写程序进行打包的工具，Spark 中没有自带 sbt，需要下载安装 下载sbt安装包以后，执行如下命令拷贝至 /usr/local/sbt 中： 接着在 /usr/local/sbt 中创建 sbt 脚本（vim ./sbt），添加如下内容： // An highlighted block #!/bin/bash SBT_OPTS="-Xms512M -Xmx1536M -Xss1M -XX:+CMSClassUnloadi
idea利用sbt打包scala程序为jar包 并发布到集群中测试
Gamedev
02-22 1万+
前提条件是创建好了wordcount项目，可以参考Scala官方IDE教程 Getting Started with Scala in IntelliJ Building a Scala Project with IntelliJ and sbt Spark Quick Start https://spark.apache.org/docs/latest/quick-start.html#s...
Linux spark sbt打包遇到的各种问题
KevinLi的博客
12-17 4436
1、安装sbt 首先安装sbt 的时候就遇到了很慢很慢很慢的问题，在这里参考林子雨老师的教程，用了几分钟就完成了，不可思议~林老师说他用了一个月，看来我运气比较好 根据老师的方法，要修改仓库为国内仓，这里用到的是华为云。具体的过程都在文章里了，在哪里下载sbt文章里也有的。 链接在这里：林子雨spark 出现这样，就说明安装成功了！ 2、用sbt package打包卡住了，报错猜测可能是sbt-lunch-jar包有问题 这里忘记截报错的图了，但看意思就是这个jar包有问题，如果大家有同样的问题，可以参
了解、安装sbt，使用sbt（console、IDEA）以及IDEA中打包spark的jar包
王某的博客
11-13 1万+
本文测试环境： ● Win10 ● Scala-2.12.3 ● Spark-2.2.0 ● Sbt-1.0.0 ● JDK-1.8 ● IDEA-2017.1.4 ● Git(IDEA下载SBT插件时可能会用到) ● 2017/8/26(文章写完一直忘了发到博客上) 我在配置IDEA+scala&sbt的过程中走了不少弯路，所以记录一下配置
13.Linux下sbt编译打包Spark程序 和 Maven编译打包Scala程序
ghw666666666的博客
10-23 1411
README文件中包含“a”和“b”的行数，并打印结果。这段代码的作用是计算/usr/local/通过spark-submit运行程序。
scala程序打包成可执行jar包(sbt package和sbt assembly)
springlustre的专栏
05-28 2101
使用sbt-assembly插件对sbt构建的scala程序进行打包，生成可以通过“java -jar”命令来执行jar包。
Container exited with a non-zero exit code 1 Failing this attempt. Failing the application.
ZMC921的博客
04-24 3894
最近在使用spark on yarn模式提交任务，下面是我测试的案例--提交命令spark-submit --master yarn-cluster --class com.htlx.sage.bigdata.spark.etl.Application --driver-memory 1g --num-executors 2 --executor-memory 2g --executor-core...
详解 jupyter notebook 集成 spark 环境安装
weixin_33794672的博客
07-03 808
来自： 代码大湿 代码大湿 1 相关介绍 jupyter notebook是一个Web应用程序，允许你创建和分享，包含活的代码，方程的文件，可视化和解释性文字。用途包括：数据的清洗和转换、数值模拟、统计建模、机器学习和更多。支持40多中语言。python ，R，go，scala等。 Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用并...
spark入门，提交一个 SimpleApp jar包到linux上的spark
天涯枫尘
01-22 2784
spark中文文档没出来前，学习英文很痛苦，分享下自己的学习，好了，上内容，搞完继续去看传说中的english！ 一、前提条件 linux 安装 scala   和 spark scala 二、创建一个maven项目 SimpleApp.java 主要注意的是文件路径，这里用的是spark 自带的样例数据 README.md package com.sparke
用idea 写一个spark实现清洗数据功能执行程序，并打成的 jar 包
最新发布
05-25
首先，你需要安装 Spark 和 Scala，并确保它们可以在你的机器上正常工作。 然后按照以下步骤操作： 1. 创建一个新的 Scala 项目，并在其中添加 Spark 的依赖。 2. 在项目中创建一个名为 `DataCleaning.scala` 的文件。 3. 在 `DataCleaning.scala` 中添加以下代码： ```scala import org.apache.spark.SparkConf import org.apache.spark.sql.SparkSession object DataCleaning { def main(args: Array[String]): Unit = { // 创建 SparkConf 对象 val conf = new SparkConf().setAppName("Data Cleaning") // 创建 SparkSession val spark = SparkSession.builder().config(conf).getOrCreate() // 读取原始数据 val rawDF = spark.read.csv(args(0)) // 进行清洗 val cleanedDF = rawDF.filter(row => { // 过滤掉不合法的数据 val regex = """^\d+,\w+$""".r row.getString(0) match { case regex() => true case _ => false } }) // 将清洗后的数据写入到文件中 cleanedDF.write.csv(args(1)) // 关闭 SparkSession spark.stop() } } ``` 4. 在命令行中使用以下命令将程序打包成 jar 包： ```shell $ sbt package ``` 5. 运行程序： ```shell $ spark-submit --class DataCleaning target/scala-2.12/data-cleaning_2.12-0.1.jar input.csv output.csv ``` 其中，`input.csv` 是原始数据文件，`output.csv` 是清洗后的数据文件。 以上就是用 Scala 和 Spark 实现数据清洗功能并打包成 jar 包的过程。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值