编写第一个用scala写的spark任务，用sbt打包成jar，并单机模式下运行

最新推荐文章于 2024-03-01 16:19:48 发布
VIP文章 最新推荐文章于 2024-03-01 16:19:48 发布
阅读量6.1k 收藏 1
点赞数
分类专栏： 分布式系统_spark 文章标签： spark scala sbt
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/make_APP/article/details/50596317
版权

一、编写第一个用scala写的spark应用：

仿照spark的 quick-start的Self-Contained Applications写出第一个scala完整程序
链接如下：
http://spark.apache.org/docs/latest/quick-start.html

即：

/* SimpleApp.scala */
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf

object SimpleApp {
   
  def main(args
最低0.47元/天 解锁文章
make_APP
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark-scala-jupyter：Jupyter笔记本服务器，准备在远程Spark主服务器上运行带有Scala内核的Spark
02-19
在/ 上查看使用自定义jar，SBT打包，集群HDFS，Scala以及在笔记本上进行数据可视化的Scala运行Spark / Scala Notebook的 查看 用法 创建docker-compose.yml version : " 3.5 " services : spark-scala-jupyter : ...
Linux spark sbt打包遇到的各种问题
KevinLi的博客
12-17 4242
1、安装sbt 首先安装sbt 的时候就遇到了很慢很慢很慢的问题，在这里参考林子雨老师的教程，用了几分钟就完成了，不可思议~林老师说他用了一个月，看来我运气比较好 根据老师的方法，要修改仓库为国内仓，这里用到的是华为云。具体的过程都在文章里了，在哪里下载sbt文章里也有的。 链接在这里：林子雨spark 出现这样，就说明安装成功了！ 2、用sbt package打包卡住了，报错猜测可能是sbt-lunch-jar包有问题 这里忘记截报错的图了，但看意思就是这个jar包有问题，如果大家有同样的问题，可以参
sbt发布assembly解决jar包冲突问题 deduplicate: different file contents found in the following
热门推荐
OopsOutOfMemory盛利的博客
11-20 1万+
一、问题定义最近在用sbt打assembly包时出现问题，在package的时候，发生jar包冲突/文件冲突问题，两个相同的class来自不同的jar包在classpath内引起冲突。具体是：我有一个self4j的jar， 还有一个hadoop-common-hdfs的jar包，其中hadoop-common-hdfs.jar内包含了self4j这个jar包，导致冲突。此类异常一般是由于打包不规范
Idea打包：scala打成jar包
最新发布
m0_75028327的博客
03-01 403
file > project Structure > Artifacts > + > jar > from modules..... >OK (什么都不用选，直接OK） > 相关依赖包全删，留一个即可。在工具栏找到Build > Build Artifacts > build。scp /本地/文件/路径 用户名@服务器IP地址:/服务器/目标/路径。在底部找到Terminal在这里输入上传命令。
sbt打包scala参数_如何使用sbt将Scala项目打包到.jar？
cuma2369的博客
07-24 982
sbt打包scala参数How to package a Scala project to a .jar file with sbt? Manually packaging the .class files are fine but too tedious. 如何使用sbt将Scala 项目打包到.jar文件？ 手动打包.class 文件很好，但是太麻烦了。 A jar of just the ...
sbt打jar包总结
古月慕南的代码世界
07-16 9710
利用sbt管理依赖，打jar包以及fat jar
idea利用sbt打包scala程序为jar包 并发布到集群中测试
Gamedev
02-22 1万+
前提条件是创建好了wordcount项目，可以参考Scala官方IDE教程 Getting Started with Scala in IntelliJ Building a Scala Project with IntelliJ and sbt Spark Quick Start https://spark.apache.org/docs/latest/quick-start.html#s...
DBSCAN-distributed:DBSCAN集群的Scala + Spark实现
03-09
为了构建可以在EMR集群上远程执行的jar文件，我们使用包管理器（类似于MAVEN的JAVA和SCALA的包管理器） 要安装sbt，您必须已安装 ，请运行： MACOS brew install openjdk 如果您没有安装 /bin/bash -c " $( curl...
sbt-spark-ec2-plugin:用于提交 Spark 作业的 Sbt 插件
06-13
描述用于将 Spark 作业提交到 Amazon Elastic Map Reduce/EC2 Spark ... sparkStop停止 EMR 集群，直到没有更多的作业在运行sparkShutdown立即关闭集群sparkSubmitJob这将用作业组装一个 jar 并将作业提交给 EMR，在
sbt-assembly-inside-docker:在Docker容器中运行`sbt assembly`的经验和教训
04-28
简而言之，问题是在Docker容器中运行sbt assembly来打包Jar时会遇到Fully-qualified classname does not match jar entry错误Fully-qualified classname does not match jar entry ，从而导致Jar损坏。 此处的背景...
scala-mnist:SparkScala Mnist 分类的游乐场
06-24
运行 MNIST 数据集的 ANN 的 Spark 实现。 人工神经网络 使用的 ANN 是bgreeven在 Spark 中的 ANN 实现。 它尚未合并到 Spark-MLlib 中，但现在。 汇编 要将项目编译为.jar文件，请使用 。 build.sbt文件包含 Spark...
scala语言编写的maven项目打jar包运行
haokelaicds的博客
05-08 1461
项目场景： scala语言编写的maven项目打jar包运行 问题描述 最近在做项目的时候需要把项目部署到docker上面运行，java、编写的maven项目打成jar包再定义入口函数之后就可以运行了。但是如果是scala语言写的怎么办呢？ 原因分析： springboot项目或者maven项目在打成jar包运行的时候会先找主程序入口，要不然机器不知道整个项目该从哪里运行。因此scala编写的项目也需要定义一个主函数。如上图假如我要运行StreamRecommender.scala这个程序。scala
Scala开发环境部署以及jar包提交运行
醉与浮的博客
11-02 860
scala在idea中使用maven的开发模式
scala程序打包成jar包运行
quitozang的博客
11-28 4397
add jar时将scala同时打包 scala -J-Xmx14000m MyScala.jar [args]
在linux上运行scala的jar包
乔治大哥的博客
11-25 2061
pom.xml： <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocati...
SBT安装及命令行打包spark程序
wuyy0224的博客
10-02 1579
该程序计算 /usr/local/spark/README 文件中包含 “a” 的行数 和包含 “b” 的行数。代码第8行的 /usr/local/spark 为 Spark 的安装目录，如果不是该目录请自行修改。在上面的配置信息中，scalaVersion用来指定scala的版本，sparkcore用来指定spark的版本，这两个版本信息都可以在之前的启动 Spark shell 的过程中，从屏幕的显示信息中找到。上面的命令输出的东西会特别多，所以也可以通过管道化来筛选跟输出指定的信息。
spark入门案例以及sbt安装与打包（Linux环境）
m0_57504851的博客
09-18 3234
sbt 安装与打包应用程序源码放spark-submit执行，包含问题处理
sbt安装配置与打包
kyj3518861703的博客
04-18 6569
一：安装配置 1.下载安装包 官网下载地址：sbt - Download 将下载好的sbt-1.6.1.tgz解压到相应目录：/home/kyj/soft，这里我们使用版本为1.6.1，注意版本的选择 2.解压安装包并放在/home/kyj/soft中： tar -zxvf sbt-1.6.1.tgz sbt 3.文件赋予权限 KYJ为系统用户，/home/KYJ/soft/sbt为sbt安装目录 chown -R KYJ /home/KYJ/soft/sbt 4.将位于sbt/bin下面的
maven scala java 混合项目编译、打包（jar包）、运行
枪枪枪的博客
02-24 7149
文章目录说明java相关的插件scala相关的插件maven命令打包创建项目分别指定java和scala的source root路径编辑pom文件执行命令运行jaridea打包参考资料 说明 一开始用的是在idea中打包的方式，但是在更新项目结构或是更新以来后，需要手动的去修改原来的配置，不是很方便。于是查找资料看下用maven命令如何打包 java相关的插件 java代码编译与打包，我参考了这篇文章的内容，介绍的很详细：https://blog.csdn.net/dyq51/article/details
用idea 写一个spark实现清洗数据功能执行程序，并打成的 jar 包
05-25
首先，你需要安装 Spark 和 Scala，并确保它们可以在你的机器上正常工作。 然后按照以下步骤操作： 1. 创建一个新的 Scala 项目，并在其中添加...以上就是用 Scala 和 Spark 实现数据清洗功能并打包成 jar 包的过程。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值