spark入门，提交一个 SimpleApp jar包到linux上的spark

最新推荐文章于 2023-04-26 08:46:07 发布
最新推荐文章于 2023-04-26 08:46:07 发布
阅读量2.7k 收藏
点赞数
分类专栏： spark 文章标签： spark 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lvsehuoyan/article/details/43016799
版权
本文档介绍了如何在Linux上安装Scala和Spark，创建Maven项目，编写SimpleApp，打包成jar，以及如何提交jar包到Spark运行。通过这个过程，初学者可以了解Spark应用的基本提交流程。
摘要由CSDN通过智能技术生成

spark中文文档没出来前，学习英文很痛苦，分享下自己的学习，好了，上内容，搞完继续去看传说中的english！

一、前提条件

linux 安装 scala   和 spark

scala

二、创建一个maven项目

最低0.47元/天 解锁文章
天涯枫尘
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark进阶之路-Spark提交Jar包执行
weixin_34075268的博客
08-12 3993
　　　　　　　　　　　　Spark进阶之路-Spark提交Jar包执行 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。   　　在实际开发中，使用spark-submit提交jar包是很常见的方式，因为用spark-shell来开发项目是很苦难的（一般都用IDE），当我们开发程序完毕后，需要打成jar包。  ...
实验七：Spark初级编程实践
07-15
- `SimpleApp` 读取 HDFS 文件 `/user/hadoop/test.txt` 并统计行数，这通过 `sbt package` 打包成 JAR，再使用 `spark-submit` 提交到 Spark 集群执行。 - `RemDup` 应用实现了合并两个文件并去除重复项的功能，...
Spark集群中使用spark-submit提交jar任务包实战经验
热门推荐
一路风景
01-03 4万+
转载: 蜗龙徒行-Spark学习笔记【四】Spark集群中使用spark-submit提交jar任务包实战经验 - cafuc46wingw的专栏 - 博客频道 - CSDN.NET http://blog.csdn.net/cafuc46wingw/article/details/45043941 一、所遇问题        由于在IDEA下可以方便快捷地运行
spark源码（一）spark-submit如何将jar以及配置参数提交给spark服务器
Interest1_wyt的博客
06-12 2967
spark-submit提交任务给spark服务器
Spark-提交应用
weixin_54354021的博客
04-06 211
spark提交应用
提交Spark应用程序
梁辰兴的博客
04-26 1455
提交Spark作业后，观察Spark集群管理界面，其中“Running Applications”列表表示当前Spark集群正在计算的作业，执行几秒后，刷新界面，在Completed Applications表单下，可以看到当前应用执行完毕，返回控制台查看输出信息，出现了“Pi is roughly 3.1424157120785603”，说明Pi值已经被计算完毕。除了–master参数外，spark-submit还提供了一些控制资源使用和运行时环境的参数。进入Spark安装目录。
Hadoop 和 Spark 安装、环境配置与使用教程.pdf
最新发布
07-22
本教程详细介绍了如何在 Linux 系统上安装和配置 Hadoop 和 Apache Spark，以及如何运行一个简单的 Spark 应用。通过这些步骤，你已经掌握了在两个强大的大数据平台上开发和运行更复杂应用的基础。无论是进行数据...
Scala基础(12)Spark命令参数及独立应用程序
01-20
另一个重要参数是`--jars`，它允许你指定需要添加到类路径（CLASSPATH）中的JAR包。如果你有多个JAR包，可以用逗号分隔它们。例如，除了使用本地模式和4个核心，你还可以添加`code.jar`，命令如下： ```bash ./bin/...
simpleapp：尝试创建一个简单的clojure应用
02-18
从项目构建一个uberjar： $ boot build 运行uberjar： $ java -jar target/simpleapp-0.1.0-SNAPSHOT-standalone.jar [args] 选项 FIXME：此应用程序接受的选项列表。 例子 ... 虫子 ... 任何其他部分 你以为 可能...
SimpleApp:我的第一个 node.js 网络应用程序！
06-06
它强调这是一个入门级的项目，是作者初次尝试使用 Node.js 创建网络应用的成果。这可能包含基本的 HTTP 服务器设置、路由处理、以及可能的数据交互等基础功能。 【标签解析】 "JavaScript" 这个标签表明项目的核心...
spark-java-sample:使用Spark Java的示例项目
05-19
sparkjava样本 使用示例Java项目。
simpleJavaWebAppDemo1
08-10
最简单的支持任意工具POST消息的WEBAPP.采用SPRING MVC .(网上居然没有很好的现成的。只好自己写个，没法0分下载，不能怪我）
提交并执行spark的jar包流程及注意事项
Zero小猿的博客
02-16 3559
1. 前言   主要是介绍windows环境下提交并执行spark的jar包流程及注意事项，linux环境提交步骤类似且更直观； 2. 步骤 2.1 打包   我是直接用idea打包，没有用maven。 项目根目录右键 -> Open Module Settings -> Artifacts -> 点击+号 -> JAR -> From modules with dependencies -> 在Main Class里面找到本次需要执行的主类 -> 点击OK
spark提交jar到集群环境的步骤和注意事项
liaomingwu的专栏
02-23 2090
spark提交jar到集群环境的步骤和注意事项
spark例子SimpleApp运行错误
u013887486的博客
11-17 4950
在运行spark文档quick start里面的一个例子的时候，出现了如下错误： Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;)Lscala/collection/mutable/ArrayOps;     at org.apache.s
关于spark利用jar包跑job的一些总结（二）
chengxue5yuan的专栏
08-31 770
利用scalac以及jar命令得到spark上可运行的jar包需要提前准备的： 1. JDK环境。 2. Scala环境，在此不多赘述，自行查找配置。（个人建议用2.10.*版本。之前用2.11版本，发现与spark-assembly那个jar包中的Scala环境不匹配，出现奇葩的错误）。 3. spark api即spark-assembly*.jar包（找不到的可以在服务器上或者你的
Spark的安装和使用方法
MusicDancing的博客
08-29 5020
1. 安装Spark 2. 在Spark shell中运行代码 Spark Shell本身就是一个Driver，Driver包mian()和分布式数据集。 启动Spark Shell 命令： ./bin/spark-shell --master <master-url> Spark的运行模式取决于传递给SparkContext的Master URL的值，可以有如下选择： 1. local 使用一个Worker线程来本地化运行Spark，非并行。 2. local[*] 使用
spark安装使用及编程和问题解决
weixin_43952095的博客
05-29 2012
1、安装spark（Hadoop、JAVA JDK已安装） 命令如下： sudo tar -zxf /home/ra/spark-1.6.2-bin-without-hadoop.tgz -C /usr/local/ cd /usr/local sudo mv ./spark-1.6.2-bin-without-hadoop/ ./spark sudo chown -R ra:ra ./spark...
报错：error: not found: value spark val ratings = spark.sparkContext.（解决方案）
a18307096730的博客
04-14 4476
就问你，你是不是和我一样进的是scala环境，而不是spark-shell环境 然后试了很多种方法都没用，吐血 报错的意思：我们使用不了spark.sparkConetxt.（因为这是在scala里面，不是在spark-shell里面，所以肯定用不了） 解决方法：切换为spark-shell环境下运行就没有问题了 点个赞互相安慰一下 ...
使用java SparkSession 一个spark程序
06-10
好的，下面是一个使用Java和SparkSession的简单Spark程序示例： ```java import org.apache.spark.sql.Dataset; import org.apache.spark.sql.Row; import org.apache.spark.sql.SparkSession; public class ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值