Spark Yarn通过代码获取Spark相关信息以及开启SpringBoot项目开启Spark REST API

最新推荐文章于 2024-05-12 06:50:40 发布
最新推荐文章于 2024-05-12 06:50:40 发布
阅读量406 收藏
点赞数
分类专栏： Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ciqingloveless/article/details/104290829
版权

应公司需求，需要整合SpringBoot与Spark项目，但是由于依赖包问题，无法打开自己部署的SparkYarn项目的REST Api，所以下面先贴一下pom

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.2.2.RELEASE</version>
        <relativePath/> <!-- lookup parent from repository -->
    </parent>
    <groupId>com.wisetv</groupId>
    <artifactId>sparkprojectmanager</artifactId>
    <version>0.0.1-SNAPSHOT</version>
    <name>sparkprojectmanager</name>
    <description>Demo project for Spring Boot</description>

    <properties>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>
        <java.version>1.8</java.version>
        <hadoop.version>2.9.0</hadoop.version>
        <org.apache.hive.version>1.2.1</org.apache.hive.version>
        <swagger.version>2.9.2</swagger.version>
        <ojdbc6.version>11.2.0.1.0</ojdbc6.version>
        <scala.version>2.11.12</scala.version>
        <spark.version>2.3.0</spark.version>
    </properties>

    <dependencies>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>


        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
            <exclusions>
                <exclusion>
                    <groupId>org.junit.vintage</groupId>
                    <artifactId>junit-vintage-engine</artifactId>
                </exclusion>
            </exclusions>
        </dependency>

        <dependency>
            <groupId>com.google.code.gson</groupId>
            <artifactId>gson</artifactId>
            <version>2.8.2</version>
        </dependency>

        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>1.2.47</version>
        </dependency>
        <!-- hadoop -->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>${hadoop.version}</version>
            <exclusions>
                <exclusion>
                    <groupId>com.sun.jersey</groupId>
                    <artifactId>jersey-core</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>com.sun.jersey</groupId>
                    <artifactId>jersey-client</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>com.sun.jersey</groupId>
                    <artifactId>jersey-server</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>com.sun.jersey</groupId>
                    <artifactId>jersey-json</artifactId>
                </exclusion>
            </exclusions>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-yarn-client</artifactId>
            <version>${hadoop.version}</version>
            <exclusions>
                <exclusion>
                    <groupId>com.google.guava</groupId>
                    <artifactId>guava</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>com.sun.jersey</groupId>
                    <artifactId>jersey-core</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>com.sun.jersey</groupId>
                    <artifactId>jersey-client</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>com.sun.jersey</groupId>
                    <artifactId>jersey-server</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>com.sun.jersey</groupId>
                    <artifactId>jersey-json</artifactId>
                </exclusion>
            </exclusions>
        </dependency>
        <!-- spark -->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.11</artifactId>
            <version>${spark.version}</version>
        </dependency>

        <dependency>
            <groupId>io.springfox</groupId>
            <artifactId>springfox-swagger2</artifactId>
            <version>${swagger.version}</version>
            <exclusions>
                <exclusion>
                    <groupId>org.springframework</groupId>
                    <artifactId>spring-core</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>org.springframework</groupId>
                    <artifactId>spring-beans</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>org.springframework</groupId>
                    <artifactId>spring-context</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>org.springframework</groupId>
                    <artifactId>spring-context-support</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>org.springframework</groupId>
                    <artifactId>spring-aop</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>org.springframework</groupId>
                    <artifactId>spring-tx</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>org.springframework</groupId>
                    <artifactId>spring-orm</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>org.springframework</groupId>
                    <artifactId>spring-jdbc</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>org.springframework</groupId>
                    <artifactId>spring-web</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>org.springframework</groupId>
                    <artifactId>spring-webmvc</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>org.springframework</groupId>
                    <artifactId>spring-oxm</artifactId>
                </exclusion>
            </exclusions>
        </dependency>
        <dependency>
            <groupId>io.springfox</groupId>
            <artifactId>springfox-swagger-ui</artifactId>
            <version>${swagger.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-yarn_2.11</artifactId>
            <version>${spark.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.11</artifactId>
            <version>${spark.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-hive_2.11</artifactId>
            <version>${spark.version}</version>
            <exclusions>
                <exclusion>
                    <groupId>com.twitter</groupId>
                    <artifactId>parquet-hadoop-bundle</artifactId>
                </exclusion>
            </exclusions>
        </dependency>
        <dependency>
            <groupId>org.glassfish.jersey.core</groupId>
            <artifactId>jersey-client</artifactId>
            <version>2.22.2</version>
        </dependency>
        <dependency>
            <groupId>org.glassfish.jersey.core</groupId>
            <artifactId>jersey-client</artifactId>
            <version>2.22.2</version>
        </dependency>
        <dependency>
            <groupId>org.glassfish.jersey.core</groupId>
            <artifactId>jersey-common</artifactId>
            <version>2.22.2</version>
        </dependency>
        <dependency>
            <groupId>org.glassfish.jersey.containers</groupId>
            <artifactId>jersey-container-servlet</artifactId>
            <version>2.22.2</version>
        </dependency>
        <dependency>
            <groupId>org.glassfish.jersey.containers</groupId>
            <artifactId>jersey-container-servlet-core</artifactId>
            <version>2.22.2</version>
        </dependency>
        <dependency>
            <groupId>org.glassfish.jersey.bundles.repackaged</groupId>
            <artifactId>jersey-guava</artifactId>
            <version>2.22.2</version>
        </dependency>
        <dependency>
            <groupId>org.glassfish.jersey.media</groupId>
            <artifactId>jersey-media-jaxb</artifactId>
            <version>2.22.2</version>
        </dependency>
        <dependency>
            <groupId>org.glassfish.jersey.core</groupId>
            <artifactId>jersey-server</artifactId>
            <version>2.22.2</version>
        </dependency>
        <dependency>
            <groupId>javax.ws.rs</groupId>
            <artifactId>javax.ws.rs-api</artifactId>
            <version>2.0.1</version>
        </dependency>
        <dependency>
            <groupId>com.sun.jersey</groupId>
            <artifactId>jersey-core</artifactId>
            <version>1.19.4</version>
        </dependency>
        <dependency>
            <groupId>com.sun.jersey</groupId>
            <artifactId>jersey-client</artifactId>
            <version>1.19.4</version>
        </dependency>
        <dependency>
            <groupId>com.sun.jersey</groupId>
            <artifactId>jersey-server</artifactId>
            <version>1.19.4</version>
        </dependency>
        <dependency>
            <groupId>com.sun.jersey</groupId>
            <artifactId>jersey-json</artifactId>
            <version>1.19.4</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-jdbc</artifactId>
            <version>${org.apache.hive.version}</version>
            <exclusions>
                <exclusion>
                    <groupId>org.eclipse.jetty.aggregate</groupId>
                    <artifactId>jetty-all</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>org.apache.hive</groupId>
                    <artifactId>hive-shims</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>org.apache.parquet</groupId>
                    <artifactId>parquet-hadoop-bundle</artifactId>
                </exclusion>
            </exclusions>
        </dependency>
    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
            </plugin>
        </plugins>
    </build>

</project>

pom有了下面我贴一段代码，获取Spark在Yarn上的相关信息尤其是这个TrackingUrl，因为访问api需要这个Url

public String getTrackingUrl(SparkSession sparkSession,Configuration conf){
        String s = sparkSession.sparkContext().applicationId();

        YarnClient yarnClient = YarnClient.createYarnClient();
        yarnClient.init(conf);
        yarnClient.start();
        ApplicationReport report = null;
        try {
            report = yarnClient.getApplicationReport(ApplicationId.fromString(s));
        } catch (YarnException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        }
        return report.getTrackingUrl();
    }

希望对有问题的朋友有帮助

ciqingloveless
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
远程提交任务yarn_「spark」通过yarn rest api 监控spark任务
weixin_42132325的博客
01-08 680
yarn提供了rest api 可以监控，管理跑在yarn上的任务。可以通过这些rest api 管理，监控spark on yarn任务以下的几个简单操作：官方详细rest api地址：https://hadoop.apache.org/docs/r2.9.2/hadoop-yarn/hadoop-yarn-site/ResourceManagerRest.html一.spark任务监控1.监控...
通过Spark Rest 服务监控Spark任务执行情况
weixin_30708329的博客
09-06 618
1、Rest服务 　　Spark源为了方便用户对任务做监控，从1.4版本启用Rest服务，用户可以通过访问地址，得到application的运行状态。 　　Spark的REST API返回的信息是JSON格式的，开发者们可以很方便地通过这个API来创建可视化的Spark监控工具。目前 　　这个API支持正在运行的应用程序，也支持历史服务器。在请求URL都有/api/v1。比如，对于历史服务器...
SpringBoot基于Spark的共享单车数据管理系统（源码+LW）_springboot spark 推荐
最新发布
2401_84006536的博客
05-12 393
本文已被CODING开源项目：【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录需要这份系统化的资料的朋友，可以点击这里获取。
Starting Spark jobs directly via YARN REST API
xiao_jun_0820的专栏
01-10 1571
首页 / DS, Analytics & Spark / Starting Spark jobs directly via YARN REST API Bernhard Walter 创建 · 2016年04月18日 17:20 · 已编辑 · 2016年04月18日 17:48 9 Short Description: This
spark on yarn 时，使用rest api 查看job的信息，然而看官方文档，没有明确告诉url到底是什么
yixiaoqi2010的专栏
06-06 1023
首先，打开sparkstreaming的web页面，按F12打开控制台，点击Executors，发现有一个allexecutors请求，暴露出了rest api的地址 http://ip:8088/proxy/application_1591406335661_0005/api/v1/applications/application_1591406335661_0005/allexecutors ...
spark Rest Api 使用
zhangxiping
03-24 1865
Rest API spark可以通过UI查看指标。这样可以让开发者很容易的创建一些可视化的工具。这些命令同时也只支持正在运行的应用。对于history server，访问的地址是http://:18080/api/v1,对于正在运行的任务，可以访问http://localhost:4040/api/v1 在这些api中，应用的标识为ID[app-id]。当通过YARN启动时，每个应用可能会有多次尝...
基于python torndo实现Rest API服务，用于远程提交spark，查询yarn任务状态和日志地址+源代码+文档说明
03-29
2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习，也适合小白学习进阶，当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。...
big-whale:Spark、Flink等离线任务的调度以及实时任务的监控
05-13
基于Yarn Rest Api的任务状态同步机制，对Spark、Flink无版本限制 支持分布式 支持失败重试 支持任务依赖 支持复杂任务编排（DAG） 支持流处理任务运行管理和监控 支持Yarn应用管理 部署 1.准备 Java 1.8+ Mysql ...
web管理spark任务
11-15
2. 使用Spark REST API获取作业状态和详细信息。 3. 将获取到的信息格式化后返回给前端展示。 总的来说，通过Web界面管理Spark任务不仅提高了工作效率，还使得Spark作业的管理和监控更加便捷。无论是使用Spark默认...
Spark生产优化总结
04-27
Metrics REST API 可以查看任务的详细信息。外部监控工具如 Ganglia 和 Graphite 也可以用于 Spark 任务监控。 资源分配 资源分配是 Spark 生产优化的最后一个方面，Spark 任务的资源分配包括 CPU cores 和内存的...
Spark提交任务到Yarn并查看任务日志
wangleigiser的博客
07-01 852
spark提交任务到yarn 查看yarn任务
spark_livy_java_rest_api:在Java中使用REST API在Kerberos和SSL中使用Livy提交Spark作业
04-16
spark_livy_java_rest_api 在Java中使用REST API在Kerberos和SSL中使用Livy提交Spark作业 mvn exec：java -Dexec.mainClass =“ o9.sparklivy.poc.SparkYarnRestClient” mvn clean编译程序集：单个 java -cp target / spark_livy_api-1.0-SNAPSHOT-jar-with-dependencies.jar o9.sparklivy.poc.SparkYarnRestClient
本地提交到yarn_Spark on Yarn学习之Yarn运行过程和Yarn应用的实现
weixin_34697393的博客
01-12 207
【本文详细介绍了Spark On Yarn 中Yarn运行过程和Yarn应用的实现，欢迎读者朋友们阅读、转发和收藏！】1. Yarn 的启动流程1.1 Yarn 启动流程步骤整体流程如下：1. 提交应用及其使用到的资源用户向 YARN 中( RM )提交应用程序，其中包括 ApplicationMaster 程序、启动 ApplicationMaster 的命令、用户程序等。客户端将应用程序所需的...
Apache Spark’s Hidden REST API
xiao_jun_0820的专栏
11-16 2972
Apache Spark™ is a fast and general engine for large-scale data processing. It’s really popular as it’s very fast, easy to use and has a great documentation. It even comes with handy script to su
跟我一起学Spark之——在集群上运行Spark
SunWuKong_Hadoop的博客
05-13 369
7.2运行时架构 7.2.5小结 在集群上运行Spark应用的详细过程： 1.用户通过spark-submit脚本提交应用。 2.spark-submit脚本启动驱动器程序，调用用户定义的main()方法。 3.驱动器程序与集群管理器通信，申请资源以启动执行器节点。 4.集群管理器为驱动器程序启动执行器节点。 5.驱动器进程执行用户应用中的操作。根据程序中所定义的对RDD的转化操作和...
Spark源码(创建与yarn集群交互的client并运行)-第一期
Airy的博客
08-21 953
决定从这一期开始写基于yarn模式部署的spark集群，将用户编写的代码(以WordCount为例子)提交到该集群上运行的一系列流程。 object Spark03_WordCount { def main(args: Array[String]): Unit = { val sparConf: SparkConf = new SparkConf().setMaster("local").setAppName("WordCount") val sc = new SparkConte
spring boot整合spark，基于yarn运行提交spark任务 spark on yarn
qq_41587243的博客
12-31 9651
springboot整理spark，基于yarn提交job任务
关于spark RESTFUL API 的使用注意事项
BackToMe的博客
01-07 861
Spark 监控信息 API 地址 https://spark.apache.org/docs/latest/monitoring.html#rest-api 要注意的是，当任务是运行在yarn集群上时，网址不再是localhost：4040，而是active-rm-address:port 后面的地址信息页不再是/api/v1，而是要加上代理路径/proxy/application_id/api/v1/… 给一个在yarn上获取StreamingBatch信息的使用示例： http://<ac
spark-submit使用yarn cluster模式时如何获取applicationId？
Lestat.Z.的博客
03-01 5308
文章目录问题描述什么是applicationId解决方法 问题描述 在自动化的项目中，需要将spark-submit程序包装起来，通过c语言或者shell来调用，因为需要记录日志，即需要知道每次提交的spark的程序的applicationId, 将其记录。spark程序是使用yarn cluster模式提交的，因此driver在集群中的任意机子，无法确定。 什么是applicationId ap...
spark初始化源码阅读sparkonyarn的client和cluster区别
10-20
Spark的初始化源码阅读主要涉及到SparkOnYARN中的client和cluster区别以及编译源码包和启动流程。首先，要进行Spark初始化源码阅读，需要下载Spark源码并在Linux系统上进行编译。在编译之前，需要安装JDK(1.8)和...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值