spark集群版运行jar包

最新推荐文章于 2024-07-08 03:17:19 发布
最新推荐文章于 2024-07-08 03:17:19 发布
阅读量792 收藏 5
点赞数
文章标签： hadoop spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_65548365/article/details/130790735
版权
本文详细介绍了如何在IDEA环境下配置并运行Spark作业。首先，通过运行WordCount.scala确保环境正确。接着，使用Maven进行打包，生成的jar文件在target目录下。然后，将jar包上传至服务器，在Spark的bin目录下使用spark-submit命令提交作业，指定主类和jar路径。最后，作业执行完毕后会显示预期的输出信息。
摘要由CSDN通过智能技术生成

默认以及按照好了Hadoop的环境和spark环境以及idea环境

  • 打包到服务器运行
    1.先右键运行一下WordCount.scala，运行成功后出现红色的info信息，等待几秒后即可关闭。不进行此步骤的话在服务器运行会出错。

 

2.点击右边的maven面板，双击lifecycle下的package即可打包

 

3.打包完成后的jar包在target目录下，将其上传到服务器，

       然后在spark的bin目录下运行以下代码

./spark-submit  --class spark.core.wc   /hk1111/jar/spark_03-core-1.0-SNAPSHOT.jar

 

./spark-submit   这个表示安装spark的目录中的spark-submit

--class 表示主类入口，就是上图中的主类是spark.core.wc

/hk1111/jar/spark_03-core-1.0-SNAPSHOT.jar   表示本地jar包路径

 

最后输出信息

       这是上面代码中编写的输出路径

 

然后查看结果

 

 

m0_65548365
关注
如何将spark程序打jar包并上传至本地集群环境运行
weixin_41765352的博客
12-28 5126
如何将spark程序打jar包，并上传至本地集群环境运行
Spark on Yarn运行时加载的jar包
upupfeng的博客
08-22 3754
记录下spark on yarn运行时会加载的jar包
第一次：在集群上运行 jar 包
HuiningM的博客
09-03 2048
开始接触Jar包，脑子是真烧的不行，为了不忘记，那就记在回忆里。。。。 --------------------------------------------------------------------- 一、在 IDEA 上生成 jar 包 点击菜单栏左上角File —> project structure... —> Artifacts —> 添加 + J...
spark_jar包
07-11
spark 最新技术架包，具体说名请找度娘。知道的人可以下载
spark-运行 jar 包
杜海的博客
11-08 7890
spark jar 本非方式运行 首先我们通过帮助命令来看spark 如何提交执行jar包 spark-submit --help spark-submit 详细参数说明 --master master 的地址，提交任务到哪里执行，例如 spark://host:port, yarn, local --deploy-mode 在本地 (client) 启动 dr...
在spark里面使用jar包运行java项目
lichao1618的博客
04-02 3900
在spark里面使用jar包运行java项目
linux上spark运行scala的jar包
前方的路在刚开始
10-30 1624
1.去掉无关的包，否则将会导致，位置变大，而且会报错mf重复的异常(因为spark中的lib有相关的jar包) 2.在上面的菜单栏中选中build然后选择build Artifact 执行builder 然后包就又了看SnakeProcess.jar出来了 把包丢到有spark环境的服务器上 运行即可成功，--class packge的名称.点 你要跑的类 空格 你打的jar包 .................................
Spark用IntelliJ + maven打jar包上传到Spark集群上运行（一）
左手coding，右手cooking
03-05 704
因为需要用Hadoop的HDFS所以要启动Hadoop 1.启动Hadoop 2.启动Spark集群 3.打开IntelliJ 创建maven项目 然后配置maven项目的pom.xml文件 内容如下 <properties> <maven.compiler.source>1.8</maven.compiler.source> <maven.compi...
spark相关jar包
06-14
这些jar包通常包括Spark自身的API、Hadoop相关库（因为Spark通常在Hadoop生态系统中运行）、Scala库（Spark是用Scala编写的，因此需要Scala的运行时环境）、以及其他的库如Avro、Parquet、JSON解析库等。这些库允许...
基于sacla开发sparksql、sparksession所需要的jar包.rar
03-17
"基于sacala开发sparksql、sparksession所需要的jar包.rar"这个压缩文件包含了一系列用于Spark SQL和SparkSession开发的关键库，这些库使得开发者能够在Scala环境中构建、运行Spark SQL查询，并管理SparkSession。...
Spark缺少的jar包
10-04
Spark缺少的jar包
tomcat集群jar包
04-16
tomcat7，tomcat7，tomcat7；这些jar包只支持tomcat7，不支持tomcat8
spark-streaming 2.2.0 jar包
12-17
基于Scala2.11的spark-streaming 2.2.0 jar包，用于java开发
＜Zhuuu_ZZ＞Spark(五)虚拟机运行Spark程序Jar包
Zhuuu_ZZ的博客
11-12 908
虚拟机运行Spark程序Jar包一 在IDEA编写Scala程序二 生成Jar包三 执行Jar包 一 在IDEA编写Scala程序 此处简单的就用WordCount来示例 为了程序广泛的适用性，所以文件输入输出路径采用了Properties进行了包装成一个文件，该文件可以放在虚拟机上，以供随时修改里面的路径。 需要注意的是，单词来源路径和单词统计结果生成文件路径如果是要在虚拟机上运行，其路径不能是windows本机路径，会识别不出来，最好是虚拟机路径或者hdfs路径。 IDEA程序 import jav
Apache Spark1.1.0部署与开发环境搭建
春宇大数据专栏
02-22 685
Spark是Apache公司推出的一种基于Hadoop Distributed File System(HDFS)的并行计算架构。与MapReduce不同，Spark并不局限于编写map和reduce两个方法，其提供了更为强大的内存计算(in-memory computing)模型，使得用户可以通过编程将数据读取到集群的内存当中，并且可以方便用户快速地重复查询，非常适合用于实现机器学习算法。本文将
cdh spark执行jar包
最新发布
weixin_36044132的博客
07-08 54
数据处理相关视频讲解：用python编程Excel有没有用处？011_编程到底好玩在哪？查看python文件_输出py文件_cat_运行python文件_shel搭建私人助理大模型需要什么环境？CDH Spark执行Jar包 在大数据领域，Spark是一个非常流行的分布式计算框架，它提供了高效的数据处理能力和丰富的A...
spark程序打jar包
youmianzhou的博客
11-15 691
spark代码要在集群上运行，需要先在idea上面打成jar包。 1.打包前需要把一些代码删除掉 package org.example import org.apache.spark.{SparkConf, SparkContext} object WordCount { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("SparkRDDWordCount") // .se
第一次在spark环境下运行jar包
小小苹果的专栏
08-17 9357
第一次在spark环境下运行jar包，耶耶耶！！！心情赞赞哒！！！！ 现在开发的工具也主要换成了Intellij，因为方便嘛！！！之前果然不应该用eclipse，简直是强求啊~~Intellij从开发，到打包在spark界都是一把手~~么么哒~~ 打包的部分主要参考了一下博文： http://www.beanmoon.com/2014/10/11/%E5%A6%82%E4%BD%95%E4%
Spark---如何打成jar包至服务器运行
shall潇の菜园
05-10 589
文章目录编写配置的路径打jar包上传jar包至服务器将相关文件上传至对应的地方程序执行命令 编写配置的路径 test.properties文件中的内容 第一个是要读的文件地址 第二个是要保存的文件地址 path:hdfs://192.168.XXX.100:9000/sparkfile/hello.txt savepath:hdfs://192.168.XXX.100:9000/sparkout/helloworld 编写程序 import java.io.FileInputStream import
idea打包jar包到spark运行
06-28
### 回答1： 1. 首先，需要在IDE中创建一个Maven项目，并添加Spark依赖。 2. 在项目中创建一个Main类，并编写Spark程序。 3. 在IDE中打包项目，生成一个jar包。 4. 将生成的jar包上传到Spark集群中。 5. 在Spark集群中运行以下命令： ``` spark-submit --class com.example.Main --master yarn --deploy-mode cluster /path/to/jar ``` 其中，com.example.Main是Main类的完整路径，/path/to/jar是jar包的路径。 6. 等待程序运行完成，查看输出结果。 ### 回答2： 将idea中的java项目打包成一个可执行的jar包，可以方便地在spark集群中运行。实现步骤如下： 1.在idea中，选中项目右击，点击“Open Module Setting”打开模块设置。 2.进入模块设置界面，点击左侧菜单中的“Artifacts”，然后点击“+”号添加一个新的Artifact。 3.选择“Jar”类型，填写Artifact的名称和输出路径。 4.定义Artifact所需要打包的内容，如项目中使用的外部库、资源文件和自身编写的类等。在“Output Layout”界面中进行规划和配置。 5.将Artifact设置为“Build on make”，以便在每次编译时自动打包。 6.完成Artifact设置后，点击“OK”保存配置，然后再次右键点击项目，选择“Build Artifact” -> 要打包的Artifact名字 -> “Build”。 7.成功完成打包后，可以在指定输出路径中找到生成的jar包。 8.在spark集群中调用该jar包，使用“spark-submit”命令提交任务，并指定jar包路径和主函数类名。例如： $ spark-submit --class com.example.Main --master spark://master:7077 myproject.jar 有了打包好的jar包，可以方便地在不同的机器上运行spark任务，而且能够有效地减少开发者的工作量和提高程序的可维护性和重用性。 ### 回答3： 在将 IDEA 项目打包为 JAR 文件并在 Spark 上运行之前，我们需要先了解一些基本概念和步骤。 首先需要明确的是，Spark是一个分布式计算框架，它的运行需要一个集群环境，而 JAR 文件则是一种可执行程序文件，是用来包含所有依赖的文件和代码。 因此，在将 IDEA 项目打包为 JAR 文件之前，需要确保你已经搭建好了 Spark 集群环境，并且在项目中引入了必要的 Spark 依赖。 接下来，我们可以按照以下步骤将 IDEA 项目打包为 JAR 文件： 1. 在 IDEA 中选择项目 → 打包 → 打包为 JAR 文件。 2. 在弹出的窗口中选择所需的设置，包括打包的模块、存放路径、依赖项等等。此外，还需要指定启动类（即包含 main 方法的类）。 3. 点击“打包”按钮，即可生成 JAR 文件。 4. 将生成的 JAR 文件上传到 Spark 集群中的某个节点（比如 master 节点），同时确保所有依赖包都已正确安装。 最后，我们可以通过以下命令在 Spark 上运行 JAR 文件： ``` spark-submit --class <main-class> --master <master-url> <path-to-jar> [args] ``` 其中，<main-class> 表示启动类的完整类名，<master-url> 表示 Spark 集群的主节点 URL，<path-to-jar> 表示 JAR 文件在节点上的路径，[args] 表示可选的运行参数。 总之，将 IDEA 项目打包为 JAR 文件并在 Spark 上运行，需要确保正确搭建集群环境和引入必要的依赖，以及熟悉打包和运行命令的使用方法。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值