spark程序提交到集群上_将java开发的wordcount程序提交到spark集群上运行

最新推荐文章于 2023-03-26 00:07:30 发布
最新推荐文章于 2023-03-26 00:07:30 发布
阅读量282 收藏
点赞数
文章标签： spark程序提交到集群上
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_33224795/article/details/113999666
版权

今天来分享下将java开发的wordcount程序提交到spark集群上运行的步骤。

第一个步骤之前，先上传文本文件，spark.txt，然用命令hadoop fs -put spark.txt /spark.txt，即可。

第一：看整个代码视图

20180111000657626711.png

打开WordCountCluster.java源文件，修改此处代码:

20180111000657635501.png

第二步：

打好jar包，步骤是右击项目文件----RunAs--Run　Configurations

20180111000657643313.png

照图填写，然后开始拷贝工程下的jar包，如图，注意是拷贝那个依赖jar包，不是第二个

20180111000657652103.png

然后将复制到桌面的这个jar包和另外一个文件WordCount.sh上传到

最低0.47元/天 解锁文章
LosAngelic Reeds
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
java spark wordcount_提交任务到spark（以wordcount为例）
weixin_29564301的博客
02-24 551
1、首先需要搭建好hadoop+spark环境，并保证服务正常。本文以wordcount为例。2、创建源文件，即输入源。hello.txt文件，内容如下：tom jerryhenry jimsuse lusy注：以空格为分隔符3、然后执行如下命令：hadoop fs -mkdir -p /Hadoop/Input(在HDFS创建目录)hadoop fs -put hello.txt /Hadoop...
Java Web提交任务到Spark Standalone集群并监控
fansy1990的专栏
11-16 6120
Java Web提交任务到Spark Standalone集群并监控 环境 工程下载路径 Spark任务提交流程 问题及问题解决 后记Java Web提交任务到Spark Standalone集群并监控1. 环境 软件 版本 备注 IDEA 14.1.5 JDK 1.8 Spark 1.6.0 工程maven引用 Spark cdh5.7.3
java spark程序_使用java开发spark的wordcount程序
weixin_42172204的博客
02-21 94
package spark;import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import org.apach...
spark 提交任务到集群
weixin_30485799的博客
07-11 80
链接 转载于:https://www.cnblogs.com/luoganttcc/p/10525373.html
spark-submit提交任务到集群
克终的博客
08-23 5351
spark-submit提交任务到集群
WordCount_Spark!_spark_wordcount_java_
10-01
- 使用`spark-submit`命令提交Java应用程序到Spark集群。 - 调试和性能优化：可以通过设置Spark配置参数，如`--master`、`--executor-memory`等，调整执行环境以优化性能。 总结，Spark上的WordCount程序是理解和...
spark local下 WordCount运行示例
08-14
在"Spark local下 WordCount运行示例"中，我们将探讨如何在本地模式（local mode）下使用Spark执行一个简单的WordCount程序。WordCount是大数据处理领域的一个经典例子，用于统计文本中各个单词出现的次数。 首先，...
Java实现Spark词配对Wordcount计数代码实现
05-24
在这个例子中，`WordCountSpark-code`可能是包含这个Java程序的源代码文件。实际运行时，你需要将"input.txt"替换为实际的文本文件路径，而Spark集群会根据配置自动处理分布式计算。此外，你还可以将结果保存到HDFS...
spark下实现wordcount
11-14
亲自测试的
spark提交集群运行_提交wordCount程序到spark集群上运行
weixin_29811891的博客
01-13 429
1、Java版wordCount1)Java代码：/*** 将Java开发的wordcount程序部署到spark集群上运行*/public class WordCountCluster {public static void main(String[] args) {String inputPath = args[0];String outputPath =args[1];//编写spark应用...
Spark作业提交到集群执行详解
Spark技术咖的博客
08-16 2257
Spark作业提交到集群的命令格式如下 ./bin/spark-submit \ --class <main-class> \ --master <master-url> \ --deploy-mode <deploy-mode> \ --conf <key>=<value> \ ... # other optio...
使用java代码来实现动态提交spark任务到集群
热门推荐
小刘的博客
05-05 1万+
场景 执行java代码的一个方法，这个动作触发提交spark任务到运行在yarn上的spark 集群 开始 Spark任务介绍 执行spark读取Hive中的一个表，这个表是用Hive来管理的HBASE表。统计这个表的总记录数。 具体代码如下：         objectTable_count {   def main(args: Array[String]): Unit = { ...
Spark集群部署
大黄的博客
06-21 2231
这里以Spark完全分布式集群部署为例。 从官网下载Spark二进制文件，解压，进入conf目录。 1.更改spark-env.sh mv spark-env.sh.template spark-env.sh
从零到一编写一个 spark 程序并提交到集群中运行
smartsteps的博客
12-19 794
怎样用IDEA编写spark程序并提交到集群上运行 1.安装scala sdk 1.下载 scala 安装程序 #下载地址 https://www.scala-lang.org/download #windwos 下安装 https://downloads.lightbend.com/scala/2.13.1/scala-2.13.1.msi 2.配置环境变量 新增系统变量 SCALA_HO...
idea开发spark环境搭建 以及第一个wordcount程序
FAtumai37的博客
04-17 336
开发环境为 windows10端 和 centOS6.5端 一：windows端环境设置 1.JAVA环境配置： 下载并安装javaJDK1.8.0 配置java环境变量： 检查Java环境配置是否成功 2.安装scala2.11.12(注意不要安装最新或最高版本，视你的操作系统的Idea版本，否则会出现版本冲突） 配置Scala环境变量： 检测...
Spark 提交第一个项目（WordCount）
weixin_47243236的博客
12-09 1005
WordCount 的具体步骤可参考上一篇：Spark 第一个项目（WordCount） 本篇可作为上一篇的扩展！ 上一篇程序：WorkCount 本篇程序：WorkCountApplication 1. WordCount 1.1 修改程序 对上一篇的程序进行修改： package wcApplication import org.apache.spark.{SparkConf, SparkContext} object WorkCountApplication { def main(a.
Spark通过IDEA远程提交WordCount案例
最新发布
m0_69671651的博客
03-26 307
通化远程提交WordCount程序
standalone cluster模式提交spark作业
mn_kw的博客
07-23 476
standalone cluster通常用于spark作业部署到生产环境中去使用 因为这种模式，会由master在集群中，某个节点上，来启动driver，然后driver会进行频繁的作业调度 此时driver和集群在一起，那么性能是比较高的 standalone client模式，在spark-submit脚本执行的机器上，会启动driver进程，然后去进行整个作业的调度，通常来说，你的sp...
使用idea编写spark程序并提交到yarn集群例子
03-16
以下是使用idea编写spark程序并提交到yarn集群的例子： 1. 首先，在idea中创建一个新的maven项目，选择scala语言。 2. 在pom.xml文件中添加以下依赖： ``` <dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId> <version>2.4.0</version> </dependency> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-sql_2.11</artifactId> <version>2.4.0</version> </dependency> </dependencies> ``` 3. 创建一个简单的Spark应用程序，例如： ``` import org.apache.spark.sql.SparkSession object WordCount { def main(args: Array[String]): Unit = { val spark = SparkSession.builder() .appName("Word Count") .getOrCreate() val lines = spark.read.textFile(args(0)).rdd val words = lines.flatMap(_.split(" ")) val wordCounts = words.map((_, 1)).reduceByKey(_ + _) wordCounts.saveAsTextFile(args(1)) spark.stop() } } ``` 4. 在idea中配置Spark环境变量，打开“Run/Debug Configurations”窗口，选择“Application”，然后单击“+”按钮添加一个新的配置。在“Environment variables”字段中添加以下内容： ``` SPARK_HOME=/path/to/your/spark/home ``` 5. 在idea中打开终端，使用以下命令将应用程序打包成jar文件： ``` mvn package ``` 6. 将jar文件上传到yarn集群中： ``` hadoop fs -put /path/to/your/jar/file /user/yourname/ ``` 7. 在yarn集群中提交应用程序： ``` spark-submit --class WordCount --master yarn --deploy-mode cluster /user/yourname/your-jar-file.jar /input/path /output/path ``` 其中，“WordCount”是你的应用程序的类名，“/input/path”是输入文件的路径，“/output/path”是输出文件的路径。 8. 等待应用程序运行完成，然后检查输出文件是否正确生成。 希望这个例子能够帮助你使用idea编写spark程序并提交到yarn集群。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值