Spark 调优：Spark REST API

最新推荐文章于 2022-01-07 11:10:08 发布
最新推荐文章于 2022-01-07 11:10:08 发布
阅读量322 收藏
点赞数
文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010823625/article/details/105676316
版权

Spark REST API

EndpointMeaning
/applications显示所有应用
/applications/[app-id]/jobs获取给定应用的所有Jobs
/applications/[app-id]/jobs/[job-id]获取给定Job的信息
/applications/[app-id]/stages获取给定应用的stages
/applications/[app-id]/stages/[stage-id]获取给定stages的attempts
/applications/[app-id]/executors获取给定应用的所有Executors
/applications/[app-id]/storage/rdd获取给定应用的所有缓存的RDDs
/applications/[app-id]/storage/rdd/[rdd-id]获取给定RDDs的存储详情
u010823625
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
通过Spark REST API实现远程提交任务
darkWatch的博客
12-06 1万+
  前段时间根据项目需求，要写一个Spark的执行器，要能满足远程提交获取状态等功能。 因为项目暂时使用的是Spark standalone 模式，考虑可以使用Spark自带的REST 服务（api地址：http://spark.apache.org/docs/latest/monitoring.html）来完成，后来在Github上发现了一个写的比较完善的库，地址https://github...
spark rest api解析
我的笔记
10-23 591
package com.ht.bigdata.servive4; //import org.geotools.jdbc.JDBCDataStore; import org.json.JSONArray; import org.json.JSONException; import org.json.JSONObject; import java.text.DateFormat; import...
Spark REST Api的使用
我的笔记
10-13 2231
https://www.cnblogs.com/juncaoit/p/6379006.html
spark Rest Api 使用
zhangxiping
03-24 1916
Rest API spark可以通过UI查看指标。这样可以让开发者很容易的创建一些可视化的工具。这些命令同时也只支持正在运行的应用。对于history server，访问的地址是http://:18080/api/v1,对于正在运行的任务，可以访问http://localhost:4040/api/v1 在这些api中，应用的标识为ID[app-id]。当通过YARN启动时，每个应用可能会有多次尝...
sparkjava-rest-api:SparkJava Rest Api-FormData和文件上传
05-14
sparkjava-rest-api SparkJava Rest Api-FormData和文件上传
Spark性能优化：shuffle调优
01-29
但是也必须提醒大家的是，影响一个Spark作业性能的因素，主要还是代码开发、资源参数以及数据倾斜，shuffle调优只能在整个Spark的性能调优中占到一小部分而已。因此大家务必把握住调优的基本原则，千万不要舍本逐末...
Spark 调优攻略上册
12-29
《Spark调优攻略上册》是一本专注于企业级大规模数据计算引擎Spark的调优指南，旨在帮助读者深入了解Spark的优化策略。该书不仅涵盖了Apache Spark的基础知识，还涉及了Data Lake和阿里云EMR团队研发的Jindo-Spark在...
Spark性能优化：数据倾斜调优
02-26
继《Spark性能优化：开发调优篇》和《Spark性能优化：资源调优篇》讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后，本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾斜调优与shuffle调优，以...
Spark性能优化：开发调优篇
02-01
开发调优，就是要让大家了解以下一些Spark基本开发原则，包括：RDD lineage设计、算子的合理使用、特殊操作的优化等。在开发过程中，时时刻刻都应该注意以上原则，并将这些原则根据具体的业务以及实际的应用场景，...
Spark rest api 远程提交、结束、监控任务
我的笔记
10-21 1051
https://blog.csdn.net/Camu7s/article/details/71104968 https://blog.csdn.net/dashenyyy/article/details/83090335 监控：https://blog.csdn.net/darkWatch/article/details/84860675
spark-jobserver：适用于Apache Spark的REST作业服务器
02-05
spark-jobserver提供了一个RESTful接口，用于提交和管理作业，jar和作业上下文。 此存储库包含完整的Spark作业服务器项目，包括单元测试和部署脚本。 它最初始于 ，但现在是主要的开发仓库。 其他有用的链接：，， ， ， ， 。 另请参阅。 用生成的目录 用户数 （请将您自己添加到此列表中！） Spark Job Server包含在Datastax Enterprise中！ 口香糖 保险丝元件 前线解算器 产品特点 “ Spark即服务” ：简单的REST接口（包括HTTPS），用于作业，上下文管理的各个方面 支持Spark SQL，Hive，流上下文/作业和
Livy - 基于Apache Spark之上的REST服务
03-30
Livy是构建于Apache Spark之上的REST服务，它提供了安全、高可用、灵活的REST API使用户可以以交互式、批处理以及编程式API的方式操作Spark。本演讲将为大家介绍Livy的基本功能、高阶特性以及与其他类似框架的比较
spark-jobs-rest-client:流利的客户端，可与Spark Standalone Mode的Rest API进行交互，以提交，取消和监视作业状态
05-09
自述文件 该项目提供了Fluent实用程序Http客户端，用于与Spark发行版捆绑在一起的Spark Standalone Rest Server进行交互，如Arthur Mkrtchyan的。 特征 将作业提交到Spark独立集群 查询先前提交给集群的作业的当前状态 终止在集群上运行的作业 Maven依赖 < dependency> < groupId>com.github.ywilkof</ groupId> < artifactId>spark-jobs-rest-client</ artifactId> < version>1.3.9</ version> </ dependency> SBT "com.github.ywilkof" % "spark-jobs-rest-client" % "1.3.9" 要求 JAVA 1.8 提供
spark研究分析&restful架构
07-25
spark在centos上计算Pi
使用REST API提交、查看和结束Spark应用
热门推荐
Camu7s的专栏
05-02 1万+
使用REST API提交、查看和结束Spark应用
spark php接口,Spark 1.4中REST API介绍
weixin_29338295的博客
03-09 319
在https://issues.apache.org/jira/browse/SPARK-3644里面首先被提出，已经在/api/v1。比如，对于历史服务器来说，我们可以通过http://:18080/api/v1来获取一些信息；对于正在运行的Spark应用程序，我们可以通过:4040/api/v1来获取一些信息。如果想及时了解Spark、Hadoop或者Hbase相关的文章，欢迎关注微信公共帐号...
Starting Spark jobs directly via YARN REST API
xiao_jun_0820的专栏
01-10 1575
首页 / DS, Analytics & Spark / Starting Spark jobs directly via YARN REST API Bernhard Walter 创建 · 2016年04月18日 17:20 · 已编辑 · 2016年04月18日 17:48 9 Short Description: This
关于spark RESTFUL API 的使用注意事项
BackToMe的博客
01-07 871
Spark 监控信息 API 地址 https://spark.apache.org/docs/latest/monitoring.html#rest-api 要注意的是，当任务是运行在yarn集群上时，网址不再是localhost：4040，而是active-rm-address:port 后面的地址信息页不再是/api/v1，而是要加上代理路径/proxy/application_id/api/v1/… 给一个在yarn上获取StreamingBatch信息的使用示例： http://<ac
SparkRESTApi使用JAVA封装
ciqingloveless的博客
02-13 584
项目功能就是封装SparkRestApi，用到了httpclient以及yarnclient，pom如下 <?xml version="1.0" encoding="UTF-8"?> 4.0.0 org.springframework.boot spring-boot-starter-parent 2.2.2.RELEASE com.wisetv sparkprojectma...
spark 调优：控制输出文件的个数
最新发布
03-16
Spark调优中，控制输出文件的个数是一个重要的优化点。过多的输出文件会导致文件系统的负担增加，影响性能。以下是一些控制输出文件个数的方法： 1. 使用coalesce()或repartition()方法将RDD的分区数调整为较小的值...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值