spark编译与onyarn的运行

最新推荐文章于 2021-08-11 16:44:25 发布
最新推荐文章于 2021-08-11 16:44:25 发布
阅读量2.2k 收藏
点赞数
分类专栏： spark分析 文章标签： spark 源代码
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014393917/article/details/24640715
版权
本文详细介绍了Spark on YARN的执行流程，从源代码编译到通过Yarn运行示例程序。首先，通过设置http代理和指定Hadoop版本进行源代码编译，然后修改`make-distribution.sh`将示例程序打包进tar.gz。接着，配置YARN环境变量并运行示例程序。最后，讨论了如何通过Java程序执行Spark on YARN，并列举了一些关键的系统属性配置。
摘要由CSDN通过智能技术生成

Spark on yarn执行流程源代码分析

目前的分析主要基于spark0.9.0的cdh5的版本进行分析，

源代码下载地址：https://github.com/cloudera/spark.git

下载方式：gitclone url ./spark

进入spark目录，执行gitcheckout cdh5-0.9.0_5.0.0



源代码编译

使用sbt编译spark

运行sbt命令需要使用http代理，不然连接不上网络，进入sbt/目录，使用vimsbt修改里面的内容，

在最下面java命令的第二行添加-Dhttp.proxyHost=myserver-Dhttp.proxyPort=port \

运行如下命令编译spark

SPARK_HADOOP_VERSION=2.3.0-cdh5.0.0SPARK_YARN=true sbt/sbt assembly

SPARK_HADOOP_VERSION后是hadoop的版本号，


SPARK_HADOOP_VERSION=2.2.0sbt/sbt assembly

Inaddition, if you wish to run Spark on YARN,set SPARK_YARN to true:

SPARK_HADOOP_VERSION=2.0.5-alphaSPARK_YARN=true sbt/sbt assembly

最低0.47元/天 解锁文章
隔壁老杨hongs
关注
专栏目录
Spark03：Spark安装部署【集群】：Standalone模式以及ON YARN模式
weixin_40612128的博客
03-08 2816
一、Spark集群安装部署 Spark集群有多种部署方式，比较常见的有Standalone模式和ON YARN模式 1、Standalone模式 Standalone模式就是说部署一套独立的Spark集群，后期开发的Spark任务就在这个独立的Spark集群中执行 2、ON YARN模式 ON YARN模式是说使用现有的Hadoop集群，后期开发的Spark任务会在这个Hadoop集群中执行，此时这个Hadoop集群就是一个公共的了，不仅可以运行MapReduce任务，还可以运行Spark任务，这样集群的资
spark on yarn 安装部署
一蓑烟雨
12-06 1155
准备 下载spark,地址：http://spark.apache.org/downloads.html 下载不带hadoop预编译环境的spark最新版本，好处是可以自由使用最新版本的hadoop 下载hadoop,地址：https://hadoop.apache.org/releases.html 1.基本环境配置 [ec2-user@rcf-ai-datafeed-spark-prd-01 conf]$ cat /etc/hosts 127.0.0.1 localhost localh...
Spark源码编译并在YARN上运行WordCount实例
weixin_34417814的博客
06-20 63
在学习一门新语言时，想必我们都是”Hello World”程序开始，类似地，分布式计算框架的一个典型实例就是WordCount程序，接触过Hadoop的人肯定都知道用MapReduce实现WordCount，当前内存分布式计算框架Spark因为其计算速度之快，并且可以部署到Hadoop YARN中运行，已经受到各大公司的青睐，Spark社区提供了一些编译好的jar包，但是其中没有适配Hadoop-...
Apache Spark源码走读（三）Spark on Yarn &Spark源码编译 &在YARN上运行SparkPi
weixin_34055787的博客
09-14 155
<一>Spark on Yarn 概要 Hadoop2中的Yarn是一个分布式计算资源的管理平台，由于其有极好的模型抽象，非常有可能成为分布式计算资源管理的事实标准。其主要职责将是分布式计算集群的管理，集群中计算资源的管理与分配。 Yarn为应用程序开发提供了比较好的实现标准，Spark支持Yarn部署，本文将就Spark如何实现在Yarn...
java spark yarn_Spark在Yarn上运行Wordcount程序
weixin_42568801的博客
03-04 190
我们在接触 package org.apache.spark.examples;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark....
SparkConf参数
weixin_41008393的博客
01-16 8324
sparkconf中的一些参数， 参考了sparkconf源码中的解释，以及摘抄了几位博主的笔记， 整合了下，方便使用。 参数 意义 spark.yarn.tags 逗号分隔的字符串，传递YARN应用tags。其值将出现在YARN Application Reports中，可以用来过滤和查询YARN 应用。 spark.yarn.maxAppAttempts 提交应用最大尝试次...
Oozie 调用 Spark on Yarn：傻瓜教程从编译，配置安装到运行
My Sunshine
11-19 839
安装前准备： 安装hadoop，可参考文章：https://blog.csdn.net/lucylove3943/article/details/80589422 安装spark，可参考文章：https://blog.csdn.net/lucylove3943/article/details/96477861 我当前电脑安装的hadoop版本是2.9.2，spark的版本是2.4.4，和上面...
Hive on Spark on Yarn
一名假的程序猿
08-16 3471
参考 https://cwiki.apache.org/confluence/display/Hive/Hive+on+Spark https://cwiki.apache.org/confluence/display/Hive/Hive+on+Spark%3A+Getting+Started https://cwiki.apache.org/confluence/display/Hive/...
yarn client中的一个BUG的修复
xiao_jun_0820的专栏
02-20 2966
org.apache.spark.deploy.yarn.Client.scala中的monitorApplication方法： /** * Report the state of an application until it has exited, either successfully or * due to some failure, then return a pair o
Spark on Yarn用执行流程图解（包含stage流程）
GSpinach的博客
08-11 5904
@Author : Spinach | GHB @Link : http://blog.csdn.net/bocai8058 文章目录前言 前言
Spark on Yarn集群搭建详细过程
热门推荐
Fang的博客
04-29 3万+
由于最近学习大数据开发，spark作为分布式内存计算框架，当前十分火热，因此作为首选学习技术之一。Spark官方提供了三种集群部署方案： Standalone, Mesos, Yarn。其中 Standalone 为spark本身提供的集群模式，搭建过程可以参考官网，本文介绍Spark on Yarn集群部署过程。使用3台普通机器搭建Spark集群
spark学习-运行spark on yarn 例子和查看日志.
搬砖笔记
06-29 8098
要通过web页面查看运行日志,需要启动两个东西 hadoop启动jobhistoryserver和spark的history-server. 相关配置文件: etc/hadoop/mapred-site.xml &lt;!--配置jobhistory的地址和web管理地址--&gt; &lt;property&gt; &lt;name&gt;mapr...
Spark从入门到精通第八课：细致分析Spark on Yarn 模式
曹利荣的博客
03-11 1万+
1、spark on yarn 两种模式： client模式（测试） cluster模式（生产常用） 区别： client模式的driver是运行在客户端。 cluster模式的driver运行在NodeManager的MRApplicationMaster中。 2、client模式 启动： spark-submit --master yar...
spark编译与onyarn的执行
weixin_30904593的博客
03-11 108
版权声明：本文为博主原创文章。未经博主同意不得转载。 https://blog.csdn.net/u014393917/article/details/24640715 ...
spark 2.0 on yarn 问题
ruiyiin的专栏
08-01 1375
出错 Exception in thread "main" java.lang.NoClassDefFoundError: com/sun/jersey/api/client/config/ClientConfig at org.apache.hadoop.yarn.client.api.TimelineClient.createTimelineClient(TimelineClient.ja
在Yarn上运行spark-shell和spark-sql命令行
smile_lty的博客
03-27 1万+
关键字：spark-shell on yarn、spark-sql on yarn 前面的文章《Spark On Yarn：提交Spark应用程序到Yarn》介绍了将Spark应用程序提交到Yarn上运行。有时候在做开发测试的时候，需要使用spark-shell和spark-sql命令行，除了Local和Spark standalone模式，spark-shell和spa...
Spark1.0.0 on YARN 模式部署
mmicky的hadoop、Spark世界
05-13 1万+
Spark应用程序在YARN中的部署，说明scala程序和python程序分别以yarn-client和yarn-cluster方式在YARN中的部署。
"深入理解Spark on Yarn的启动流程与源码编译
Spark的初始化源码阅读主要涉及到SparkOnYARN中的client和cluster区别以及编译源码包和启动流程。首先，要进行Spark初始化源码阅读，需要下载Spark源码并在Linux系统上进行编译。在编译之前，需要安装JDK(1.8)和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值