spark程序在集群和本地运行命令

最新推荐文章于 2024-06-19 14:17:35 发布
最新推荐文章于 2024-06-19 14:17:35 发布
阅读量899 收藏 1
点赞数 3
分类专栏： spark 文章标签： spark  yarn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_28429443/article/details/91439492
版权

1.先找maven projects，然后在项目的目录进行clean,然后在install。把
打包上来的程序放到服务器上。然后在执行（在本地执行local）
()
/usr/hdp/2.6.0.3-8/spark2/bin/spark-submit
–master local
–class cn.com.zoesoft.bigdata.ihr.brain.tool.tags.Hypertension /root/wds_temp/ihr-brain-inspection-tool-3.0-SNAPSHOT.jar

2.在yarn上面运行
/usr/hdp/2.6.0.3-8/spark2/bin/spark-submit
–master yarn-cluster
–executor-memory 4G
–num-exectors 4
–class cn.com.zoesoft.bigdata.ihr.brain.tool.tags.Hypertension /root/wds_temp/ihr-brain-inspection-tool-3.0-SNAPSHOT.jar

计划式
关注
专栏目录
spark的计数统计在本地与集群运行
am_ccl的博客
04-24 321
在这里 我们先简易的看一下一个本地运行的单词计数统计 这里不用多说 创建一个简单的maven项目，大致就是下面的图片 编写一个本地的技术统计 object SingleCount { def main(args: Array[String]): Unit = { //1.执行入口 //2.创建sparkConf对象 设置appname和master地址 ...
spark java 例子程序_java写的spark程序的本地运行和集群运行
weixin_36307344的博客
02-13 365
用java写的一个简单的spark程序，通过本地运行和集群运行例子。1在eclipse下建一个maven工程 配置pom.xml 配置文件参考下面：xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">4.0.0cn.sparkSp...
在集群上运行Spark应用程序
qq_38709565的博客
03-23 1676
启动Spark集群 请登录Linux系统，打开一个终端。 启动Hadoop集群 cd /usr/local/hadoop/ sbin/start-all.sh 启动Spark的Master节点和所有slaves节点 cd /usr/local/spark/ sbin/start-master.sh sbin/start-slaves.sh 独立集群管理器 （1）在集群中运行应用程序...
Spark三种运行模式（SparkShell使用）
最新发布
m0_71010347的博客
06-19 1964
唯一不同的是，Spark Shell本身为集群的client提交方式运行，不支持cluster提交方式，即使用Spark Shell时，Driver运行于本地客户端，而不能运行于集群中。​ Driver为主控进程，负责执行应用程序的main()方法，创建SparkContext对象（负责与Spark集群进行交互），提交Spark作业，并将作业转化为Task（一个作业由多个Task任务组成），然后在各个Executor进程间对Task进行调度和监控。通常用SparkContext代表Driver。
spark本地运行模式
weixin_34221332的博客
09-28 215
Spark设置setMaster=local，不提交集群，在本地启用多线程模拟运行objectSparkUtil{ privatevallogger=Logger.getLogger(getClass.getName,true) defgetSparkContext(appName:String,local:Boolean=false,...
六十七、Spark-两种运行方式（本地运行，提交集群运行）
02-17 7205
本地运行：在IDEA中直接运行控制台输出结果即可 集群运行：在本地将程序打包为 jar，提交至集群运行其程序（将结果上传至hdfs）
sparkR:从本地计算机轻松运行sparkR的脚本
05-19
火花 从本地计算机轻松运行sparkR的脚本 数据文件位于以下保管箱链接中：
Spark：spark在集群中的运行机制
乔治在哪里
10-08 519
1.Spark运行时架构   Spark可以在各种各样的集群管理器（Hadoop Yarn、Apache Mesos，还有spark自带的独立集群管理器）上运行。Spark集群采用的是主从结构，在一个spark集群中，有一个节点负责中央协调，调度各个分布式工作节点。这个中央协调节点被称为驱动器节点（driver），与之对应的工作节点被称为执行器节点（executor）。驱动器节点可以和大量的执行器...
spark程序提交到集群上_Spark集群模式&Spark程序提交
weixin_35437039的博客
12-31 1291
Spark集群模式&Spark程序提交1. 集群管理器Spark当前支持三种集群管理方式Standalone—Spark自带的一种集群管理方式，易于构建集群。Apache Mesos—通用的集群管理，可以在其上运行Hadoop MapReduce和一些服务应用。Hadoop YARN—Hadoop2中的资源管理器。Tip1: 在集群不是特别大，并且没有mapReduce和Spark同时运行...
本地提交spark_Spark在Windows下运行，本地提交spark到远程yarn集群
weixin_42622428的博客
12-23 1037
【问题】Spark在windows能跑集群模式吗？我认为是可以的，但是需要详细了解cmd命令行的写法。目前win下跑spark的单机模式是没有问题的。【关键点】spark启动机制容易被windows的命令行cmd坑1、带空格、奇怪字符的安装路径，cmd不能识别。最典型的坑就是安装在ProgramFiles文件夹下的程序，因为Program和Files之间有个空格，所以cmd竟不能识别。之前就把JD...
Scala基础(12)Spark命令参数及独立应用程序
01-20
提交Spark应用程序到集群或本地运行，使用`spark-submit`命令，例如： ```bash ./bin/spark-submit \ --class "SimpleApp" \ --master local[2] \ --deploy-mode client \ ~/sparkapp/target/scala-2.11/simple...
spark 运行java程序_如何运行spark java程序
weixin_42674361的博客
02-16 1002
结合从官方Quick Start Guide和Launching Spark on YARN的步骤，我们得到：我们将创建一个非常简单的Spark应用程序SimpleApp.java：/*** SimpleApp.java ***/import org.apache.spark.api.java.*;import org.apache.spark.api.java.function.Function...
Spark入门- Spark运行Local本地模式
栗筝i的博客
12-30 5041
一、Spark单机模式部署 Spark版本 ： spark-2.4.7-bin-hadoop2.7 1、安装配置JDK环境 2、下载Spark 官网下载http://spark.apache.org/ 然后上传到LInux服务器上 3、解压 tar -zxvf spark-2.4.7-bin-hadoop2.7.tgz 解压目录说明 bin 可执行脚本 conf 配置文件 data 示例程序使用数据 examples 示例程序 jars 依赖 ja..
Spark程序本地运行
weixin_30697239的博客
11-07 316
Spark程序本地运行 本次安装是在JDK安装完成的基础上进行的！ SPARK版本和hadoop版本必须对应！！！ spark是基于hadoop运算的，两者有依赖关系，见下图： 前言： 1.环境变量配置： 1.1 打开“控制面板”选项 1.2.找到“系统”选项卡 1.3.点击“高级系统设置” 1.4.点击“环境变量” 2.新建和编辑环境变量 ...
python使用spark_如何在本地使用scala或python运行Spark程序
weixin_39892447的博客
11-23 135
上述案例是冗余的写法： --jars可以指定driver和executor都需要的依赖，--driver-library-path 为driver程序中依赖的命令行参数解析 jar包，但是excutor中并不需要。executor需要则： --spark.executor.extraClassPath to augment the executor classpathspark-submit -...
Maven打包Java版的spark程序到jar包，本地Windows测试，上传到集群中运行
Mr.Write的博客
08-22 7440
Maven打包本地spark程序到jar包，上传到集群中运行 Step1：Maven打包Jar包 win + R 打开运行窗口输入cmd打开命令行窗口，切换到程序所在目录，我的目录是 E:\code\JavaWorkspace\SparkDemo 编译程序 mvn compile 打包程序 mvn package 如果程序没有特殊情况，比如缺胳膊少腿，打包完后回看到...
Spark概述
weixin_62982569的博客
06-15 584
​ 可以看到，在数据计算层，作为Hadoop核心组成的MapReduce可以结合Hive通过类SQL的方式进行数据的离线计算（当然也可以编写独立的MapReduce应用程序进行计算）；而Spark既可以做离线计算（Spark SQL），又可以做实时计算（Spark Streaming），它们底层都使用的是Spark的核心（Spark Core）。
使用spark-submit部署应用
Scarlett_ma的博客
06-16 607
Spark运行时架构 在分布式环境下，Spark集群采用的是主/从结构。在一个Spark集群中，有一个驱动器（driver）节点和一个执行器（executor）节点。Spark应用通过一个叫做集群管理器（Cluster Manager）的外部服务在集群中的机器上启动。Spark自带的集群管理器被称为独立集群管理器。Spark也能运行在Hadoop Yarn和Apache Mesos这两大开元集群管理器上。 集群管理器 Spark依赖于集群管理器来启动执行器节点，而在某些特殊情况下，也依赖集群管理器来启动驱动
Spark本地环境搭建（local模式）
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
07-01 4686
大数据实验教学系统Spark本地环境搭建（local模式）spark有以下几种运行模式，每种运行模式都有自己不同的优点和长处。了解Spark不同安装包之间的区别   安装和配置Spark环境（本地模式）   测试Spark安装是否成功。1、安装和配置Spark环境（本地模式）   2、测试Spark。硬件：x86_64 ubuntu 16.04服务器   软件：JDK1.8，Spark-2.3.2，Hadoop-2.7.3   在本实验环境中，Spark安装包位于以下位置：/data/software/sp
Spark运行模式全解析：local、standalone与Yarn命令示例
该资源提供的是Spark 2017年的最新运行命令样例，涵盖了Spark在三种运行模式（local、standalone和Yarn）下的提交指令。作者提供了其个人GitHub链接，意在分享更多相关资源。 正文： Spark是大数据处理领域的一个...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值