idea打包spark程序在集群上运行过程(1)

最新推荐文章于 2022-09-05 11:00:55 发布
最新推荐文章于 2022-09-05 11:00:55 发布
阅读量1.4k 收藏 3
点赞数
分类专栏： 大数据 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39484734/article/details/83348001
版权

第一步：

 

第二步：

第三步：

第四步：

第五步：

 

spark-submit --master yarn --deploy-mode cluster --driver-memory 4G --executor-memory 5g --num-executors 10 --conf nf spark.yarn.executor.memoryOverhearhead=2048 --conf nf spark.network.timeout=300=300000 --class ss com.datareal.BackUp spa spark_handle_le_promotion.jar ban banner=R10001 year=2016

夕阳下的独行者
关注
专栏目录
使用IntelliJ Idea开发Spark应用程序
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
07-05 5578
掌握使用IntelliJ Idea开发Spark应用程序的过程。1、使用IntelliJ Idea开发本地Spark应用程序。   2、部署分布式Spark应用程序。首先创建Spark应用程序，在本地运行并测试；然后修改Spark应用程序，访问分布式文件系统HDFS；最后将项目打为jar包，部署到Spark集群上执行。硬件：x86_64 ubuntu 16.04服务器   软件：JDK1.8，Spark-2.3.2，Hadoop-2.7.3，IntelliJ Idea1、启动IntelliJ Idea。在终
maven打包spark程序并放到集群上运行（超详细！！！）
程序媛媛
09-26 4249
PS：此文章的背景要求是已安装好spark standalone模式，maven,和Intellij,scala插件。 一、maven的配置文件如下： <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="ht...
使用 IntelliJ IDEA打包Spark应用程序
热门推荐
VAY-长跑
11-17 1万+
Spark作为下一代大数据处理引擎，在非常短的时间里崭露头角，并且以燎原之势席卷业界。本篇主要介绍了如何使用IDEA在本地打包Spark应用程序（以K-Means为例），并提交到集群执行。
IDEA中打包Spark项目
m0_56602092的博客
09-05 1455
1. 在项目pom文件中做打包相关的配置 首先在pom文件中添加如下配置（根据自己的项目设置scala版本和入口类完整路径），然后右键选择Maven -> Reload project
Spark2.x在Idea中运行在远程集群中并进行调试
zhangjunli的博客
05-24 1180
方法1 把自己的电脑作为Driver端，直接把jar包提交到集群，此时Spark的Master与Worker会一直和本机的Driver端保持连接，调试比较方便。 import org.apache.spark.SparkContext import org.apache.spark.SparkConf object WordCount { def main(args: Array[String]): Unit = { val sparkConf = new SparkConf().se...
使用IDEA打包Spark应用程序（Windows+Maven+Scala）
大强博客
02-29 1580
1、编写Spark应用程序 参考我的上一篇博文：《使用IDEA编写Spark应用程序（Windows+Maven+Scala）》 2、打包配置 单击菜单File->Project Structure->Artifacts->加号(+)->JAR->From Modules with dependencies... 如下所示： 在弹出的对话框中选择模块、主...
idea编写的spark应用程序打成jar包到集群运行
nclausliu的博客
01-09 1138
本胖使用sbt进行spark的包管理，打成jar包到spark环境运行 1.打开idea项目结构配置页面，可以使用快捷键ctrl+shift+alt+s 2.添加应用程序的jar包设置 然后弹出这个窗口，直接点击ok到下一步就行 3.去除其他包的依赖，只保留你要打包的应用程序，这里还不是很明白原理，但是按照步骤这样点击，最后打包出来的就只有一个jar包，所有依赖都会包含在内 ...
spark编程01——IDEA创建项目打包到集群中运行
SYITwin的博客
03-03 2303
一.IDEA打包过程： 1.新建一个测试程序： package com.sparkcore import org.apache.spark.{SparkConf, SparkContext} import scala.math.random object Test_jar { def main(args: Array[String]): Unit = { val spark = new SparkContext(new SparkConf().setAppName("SparkPi02".
在IDEA打包SPARK程序到linux环境下执行
qq_43634424的博客
12-10 2240
IDEA打包spark到linux上运行，亲测有效
spark编程06——关于本地运行spark程序和打包到集群中运行的区别
SYITwin的博客
03-18 534
如果本地运行就用： val sparkConf=new SparkConf().setMaster("local").setAppName("spark_timeShift") 如果打包到集群中运行就是： val sparkConf=new SparkConf().setMaster("spark://10.10.10.117:7077").setAppName("park_timeShift") （如何在IDEA中打包见：spark编程01——IDEA创建项目打包到集群中运行） imp..
idea 新建项目并打包（java，spark）
01-20
1.idea新建一个工程 2.创建maven工程 3.创建工程名 4.注意勾选的就可以了 5.继续点击finish 就可以了 6.这里的java 不为source ，直接选ctrl+alt +s ，搜索 maven =》 import =》勾选 即可 7.修改pom 文件 junit junit 4.11 test org.wso2.siddhi siddhi-core 4.5.10 org.wso2.siddhi siddhi-query-api 4.5.10
Idea打包Saprk程序
willyan2007的博客
02-12 407
一、入口程序说明：Spark程序入口，是一个object型scala程序，Main方法是程序入口。SparkConf、SparkContext、SparkContext等对象，都要在main方法的作用域内。 二、Idea配置打包信息Idea菜单，File =&gt; Project Structure =&gt; Artifacts =&gt; 绿色“+” =&gt; jar =&gt; Empt...
IDEA 打包 spark 程序 并在远程 hadoop HA 上运行测试
machen990519的博客
04-09 448
1. idea   安装创建 （略）2。创建 scala 的 Maven  项目  （略）3。导入maven 依赖  （重要）&lt;project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://ma...
idea打spark jar包并提交到spark集群运行
mn_kw的博客
04-25 3678
打包打包文件：File--&gt;&gt;ProjectStructure --&gt;点击Artificats--&gt;&gt;点击绿色加号 --&gt; 点击JAR--&gt;&gt;选择 From module with dependices  点击Output Layout  看看是否没有第三方jar包，因为你使用spark集群环境，所以你不需要第三方jar包 重新build：Build...
SparkCore：IDEA开发Spark程序打包--上传--提交
11号车厢
08-02 363
文章目录1、IDEA的pom.xml文件添加依赖 1、IDEA的pom.xml文件添加依赖 //将版本好添加到这里，后面引用版本变量即可 <properties> <scala.version>2.11.8</scala.version> <spark.version>2.4.0</spark.version> ...
在idea中编写好程序并打包到spark集群测试
Jacquelin_1的博客
05-31 649
一、scala程序 idea中写的某个程序（采取传参形式，尽量不要写死）： package com.atguigu import org.apache.spark.{SparkConf, SparkContext} object WordCount { def main(args: Array[String]): Unit = { //1.创建配置信息 val conf=n...
【Idea 打包spark程序，集群模式下运行】
weixin_43887873的博客
05-29 2071
由于这是我自己随手记录的，所以显得比较乱，但是步骤基本都有，排版就以后再说。 重试一次，自定义jar包程序运行。 1.建立scala项目 2.添加spark下的jar包依赖【usr/local/spark/jars】,当然也有scala的sdk，一般我这边已经有了 写程序：我终于，可以从头到尾，自己写下来所有的API。并且运行成功。 接下来开始打包，先注释掉，setMaster（“local”) main class，这边自动给我识别， 然后删除，除项目jar包以外的所有依赖，【集群环境里.
idea中编写spark程序并打包到集群执行
hzp666的博客
06-10 2786
本篇主要介绍了如何使用IDEA在本地打包Spark应用程序（以K-Means为例），并提交到集群执行。 1、 安装JDK与Scala SDK JDK和Scala SDK的安装在这里不再赘述，需要注意的是：要设置好环境变量，这样新建项目时就能自动检测到对应的版本，同时版本最好不要太高，以避免版本不兼容的问题，本篇采用的是JDK 8.0与Scala 2.10.6。 JDK下载地址：http://www.oracle.com/technetwork/java/javase/downloads/ Scala下载
IDEA打包Spark程序为jar包，并运行
qq_43719388的博客
10-27 4786
1、编辑需要运行的spark代码 最好是在linux环境的spark-shell，测试成功 package cn.edu.swpu.scs import org.apache.spark.{SparkConf, SparkContext} object App { def main(args: Array[String]){ val sparkConf = new SparkConf() val sc = new SparkContext(sparkConf) val
使用idea编写spark程序并提交到yarn集群例子
最新发布
03-16
以下是使用idea编写spark程序并提交到yarn集群的例子： 1. 首先，在idea中创建一个新的maven项目，选择scala语言。 2. 在pom.xml文件中添加以下依赖： ``` <dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId> <version>2.4.0</version> </dependency> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-sql_2.11</artifactId> <version>2.4.0</version> </dependency> </dependencies> ``` 3. 创建一个简单的Spark应用程序，例如： ``` import org.apache.spark.sql.SparkSession object WordCount { def main(args: Array[String]): Unit = { val spark = SparkSession.builder() .appName("Word Count") .getOrCreate() val lines = spark.read.textFile(args(0)).rdd val words = lines.flatMap(_.split(" ")) val wordCounts = words.map((_, 1)).reduceByKey(_ + _) wordCounts.saveAsTextFile(args(1)) spark.stop() } } ``` 4. 在idea中配置Spark环境变量，打开“Run/Debug Configurations”窗口，选择“Application”，然后单击“+”按钮添加一个新的配置。在“Environment variables”字段中添加以下内容： ``` SPARK_HOME=/path/to/your/spark/home ``` 5. 在idea中打开终端，使用以下命令将应用程序打包成jar文件： ``` mvn package ``` 6. 将jar文件上传到yarn集群中： ``` hadoop fs -put /path/to/your/jar/file /user/yourname/ ``` 7. 在yarn集群中提交应用程序： ``` spark-submit --class WordCount --master yarn --deploy-mode cluster /user/yourname/your-jar-file.jar /input/path /output/path ``` 其中，“WordCount”是你的应用程序的类名，“/input/path”是输入文件的路径，“/output/path”是输出文件的路径。 8. 等待应用程序运行完成，然后检查输出文件是否正确生成。 希望这个例子能够帮助你使用idea编写spark程序并提交到yarn集群。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值