spark作业监控：standalone模式下查看历史作业

最新推荐文章于 2023-02-06 08:45:00 发布

angel泪

最新推荐文章于 2023-02-06 08:45:00 发布

阅读量850

点赞数

分类专栏： spark运维

本文链接：https://blog.csdn.net/u013164612/article/details/84638195

版权

spark运维专栏收录该内容

4 篇文章 0 订阅

订阅专栏

1.关闭现有的master和worker进程

2.修改spark-defaults.conf文件，配置三个属性

spark.eventLog.enabled           true
spark.eventLog.dir               hdfs://centos-5:9001/spark-event
spark.eventLog.compress          true

3.新建我们的 spark.eventLog.dir

4.重启我们的spark集群

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

angel泪

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

Spark面试全攻略：深入理解与高效准备指南

击水三千里的专栏

01-27

785

这份文档提供了全面的Spark面试准备指南，涵盖了从基础到高阶的面试问题，包括Spark的核心概念、API使用、性能优化技巧以及最新的Spark特性。文档结构清晰，内容详实，旨在帮助面试者深入理解Spark框架，提升面试表现。

standalone模式下Spark运行过程总结

u010585659的博客

08-15

518

在standalone模式下运行时的消息通信过程分以下两个阶段：一、spark集群启动时的消息通信过程当启动master后（start-master.sh），随之启动各个worker（start-slave.sh spark://whz:7077)。worker节点向master节点发送注册消息如图所示 master收到消息后需要对worker发送的信息进行验证记录。如果注册成功则发送RegisteredWorker消息给对应的worker，告诉worker已经完成注册，随后注册成..

参与评论您还未登录，请先登录后发表或查看评论

Spark快速入门系列(5) | Spark环境搭建—standalone(2) 配置历史日志服务器

不温卜火

07-08

5456

大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客主页：https://buwenbuhuo.blog.csdn.net/ 此篇为大家带来的是Spark环境搭建—standalone(2).

【Spark】二、配置日志服务器【Standalone模式】

leonia1996的博客

02-04

366

Hadoop是可用的，可以访问HDFS 进入到spark安装目录，到conf目录下复制spark-defaults.conf.template为spark-defaults.conf cp spark-defaults.conf.template spark-defaults.conf 修改spark默认配置文件：spark-defaults.conf spark.eventLog....

【Spark分布式内存计算框架——Spark 基础环境】5. Spark Standalone集群（下）WEB UI 监控、Standalone HA

最新发布

CSDNGuoYuying的博客

02-06

488

官方文档：http://spark.apache.org/docs/2.4.5/spark-standalone.html#standby-masters-with-zookeeper。Spark Standalone集群是Master-Slaves架构的集群模式，和大部分的Master-Slaves结构集群一样，存在着Master单点故障（SPOF）的问题。在node3.itcast.cn运行spark-shell，WEB UI监控页面地址：http://node3.itcast.cn:4040。

如何kill掉spark standalone模式下的任务

qq_36344346的博客

02-20

2169

找到需要删除的Application ID 如 : app-20190219171118-0060 在master节点机器上执行命令 curl -X POST “http://192.168.1.73:8080/app/kill/?id=app-20190219171118-0060&terminate=true” （换成自己的master节点,把id 改成自己的Application ...

7.Spark历史服务器配置及ha机制

GCPOP的博客

06-17

554

1) 修改spark-defaults.conf.template文件名为spark-defaults.conf 2) 修改spark-default.conf文件，配置日志存储路径注意：需要启动hadoop集群，HDFS上的directory目录需要提前存在。 3) 修改spark-env.sh文件, 添加日志配置参数1含义：WEB UI访问的端口号为18080 参数2含义：指定历史服务器日志存储路径参数3含义：指定保存Application历史记录的个数，如果超过这个值，旧的应

【面试】进阶篇（一）Spark基础知识：产生背景 & 基本操作

HeavenDan的博客

01-13

676

0、问题大纲二、Spark 核心原理 2、前置 26.通常来说，Spark与MapReduce相比，Spark运行效率更高。请说明效率更高来源于Spark内置的哪些机制？请列举常见spark的运行模式？ 22.请写出创建Dateset的几种方式 3、Spark 运行原理 3、Spark程序的运行流程（*2） Y，Spark执行机制，Spark在集群中怎么执行程序的？如果有聚合操作呢？ 3、DAGscheduler干了什么活（*2） 35.Sparkcontext的作用 48.Spark on Yarn作

数据研发学习笔记4.8：大数据之Spark

weixin_41961559的博客

05-17

802

文章目录1 Spark概述1.1 Spark简介1.2 Scala简介1.3 Spark与Hadoop的比较2 Spark生态系统3 Spark运行架构3.1 基本概念3.2 架构设计3.3 Spark运行基本流程3.4 RDD运行原理4 Spark SQL5 Spark的部署和应用方式5.1 Spark三种部署方式5.2 从Hadoop+Storm架构转向Spark架构5.3 Hadoop和Spark的统一部署6 Spark编程实践6.1 Spark安装6.2 启动Spark Shell6.3 Spark

Apache Spark快速入门：从原理到实践的完整路径

![Apache Spark快速入门：从原理到实践的完整路径]...Spark的核心概念之一是弹性分布式数据集（RDD），它是一个容错的、并行操作的数据集合，可以在集群中分布执

spark以standalone运行时的日志清理

goodstudy168的专栏

10-29

1220

spark运行任务的日志一直没太大关注，原因是硬盘资源充足，除非任务出错时才去看一下，但没有清理这些日志的习惯。直到最近遇到的一个问题是，硬盘资源严重缺乏，不得不需要定时去清理日志。第一时间去看下spark本身的配置，是否支持定时清理日志的选项，毕竟spark那么成熟，相信很多人都面临过这样的问题。从spark-env.sh里面看到SPARK_WORKER_OPTS和SPARK_HISTORY...

Java Web提交任务到Spark Standalone集群并监控

fansy1990的专栏

11-16

6154

Java Web提交任务到Spark Standalone集群并监控环境工程下载路径 Spark任务提交流程问题及问题解决后记Java Web提交任务到Spark Standalone集群并监控1. 环境软件版本备注 IDEA 14.1.5 JDK 1.8 Spark 1.6.0 工程maven引用 Spark cdh5.7.3

Spark 环境 Standalone 模式

weixin_45417821的博客

11-14

2017

文章目录Standalone 模式集群规划解压缩文件修改配置文件启动集群提交参数说明配置历史服务配置高可用（HA） Standalone 模式 local 本地模式毕竟只是用来进行练习演示的，真实工作中还是要将应用提交到对应的集群中去执行，这里我们来看看只使用 Spark 自身节点运行的集群模式，也就是我们所谓的独立部署（Standalone）模式。Spark 的 Standalone 模式体现了经典的 master-slave 模式。集群规划 hadoop102 hadoop103 hadoo

spark不同模式下应用程序运行的日志存放位置