深入理解spark web ui

最新推荐文章于 2024-01-16 22:32:57 发布
最新推荐文章于 2024-01-16 22:32:57 发布
阅读量1.8k 收藏 11
点赞数 3
分类专栏： spark 文章标签： spark invalid url
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cclovezbf/article/details/121671103
版权

背景 某个表 1亿2千万数据

select substring(display_cluster_id,0,1) ,count(1)
from odsiadata.ia_fdw_model_result_for_batch_registration_detect_all  
--where display_cluster_id='3_000000337' 
group by substring(display_cluster_id,0,1) 

这个substring 可以忽略 简单理解为有个group by display_cluster_id

该表数据大小，存储格式为orc 总大小为3.7 G

job总概述页面

 job 方面其实很简单 唯一注意的是 如果你在同一个session里先后提交了多个任务，这里就会有多条记录。待会截图

主要还是看stage和task

stage总概述页面

注意信息

1.可以看到map其实就是用的spark的mappartitions算子，reduce用了groupby，mapvalues mappartitions 算子

2.第一个stage是map 第二个是reducer

3.map的task数目=17 reduce的task数目=120 

4. map的input=269.5 MB map-shuffle-write=5.5kb

5.reducer-output=10.4kb reducer-shuffle-read=5.5kb

这里有个 map-shuffle-write=reducer-shuffle-read=5.5kb 简单说下就是map之后的任务输出文件就会给reduce使用，所以这里是相等的

现在有如下问题

1.为什么是1个reduce 一个map？怎么不是2个3个

3.map的task数目怎么是17 为啥不是170？ reduce task数目=120 怎么不是121

4.map的input=269.5MB为啥不是2G  map-shuffle-write怎么这么小？

5.reduce-output=10.4kb 为啥不是很大这10.4kb是什么?

带着一系列问题 我们点进map的详细页面

注意以上内容

1.Input Size / Records: 269.5 MB / 122094  这个上文也提到了 269.5 MB

2.Shuffle Write: 5.5 KB / 94    上文也提到了5.5 KB

3.注意看dag图里17 =我们看到的task数目17 

4.Executor ID 有1234 说明是4个excutor ，succeeded task=5+4+4+4=17个tasks

5.Input Size / Records 4条相加=269.5MB /122094  Shuffle Write Size / Records=5.5 KB / 94

其实这么看下越来越有感觉。就好像快看到真相了。

接着看

 HIVE_RECORDS_IN=124969694

HIVE_DESERIALIZE_ERRORS=0 没有错呀

HIVE_RECORDS_OUT_0 map没有输出

单独拿一个excutor id= 1 说事。 

index=0 代表是7号task 总共有17个task index会从0-16

id=7 暂时未知。。。

executor Id 代表的是第几个excutor 其中 1个excutor可以运行1-n个task

其实我目前来说就是在一直细分

job->map和reduce->map的 excutor->map的具体tasks

然后现在根据task反推stage

该map任务有124969694条数据需要读取 hdfs数据是3.7G的orc，一共分了4个excutor去干活

这个数据这么多 怎么分呢 把任务分成多少份呢？平均分成4份？可是有的excutor干的快有的干的慢，平均分了，万一有个摸批，磨洋工，那要花多少时间？

所以需要指定一种规则，根据文件大小去划分，怎么划分呢？这可难到我了

查看日志读取了那些文件

21/12/02 09:51:32 INFO rdd.HadoopRDD: Input split: Paths:/user/hive/warehouse/odsiadata.db/ia_fdw_model_result_for_batch_registration_detect_all/ia_fdw_model_result_for_batch_registration_detect_all__4a3602db_1259_40f5_9348_e53a7f0ca8fd:3221225472+158466895,/user/hive/warehouse/odsiadata.db/ia_fdw_model_result_for_batch_registration_detect_all/ia_fdw_model_result_for_batch_registration_detect_all__67521883_60a9_4551_ba1c_f7479faf6ed7:0+12058631InputFormatClass: org.apache.hadoop.hive.ql.io.orc.OrcInputFormat

21/12/02 09:51:34 INFO rdd.HadoopRDD: Input split: Paths:/user/hive/warehouse/odsiadata.db/ia_fdw_model_result_for_batch_registration_detect_all/ia_fdw_model_result_for_batch_registration_detect_all__4a3602db_1259_40f5_9348_e53a7f0ca8fd:2415919104+134217728,/user/hive/warehouse/odsiadata.db/ia_fdw_model_result_for_batch_registration_detect_all/ia_fdw_model_result_for_batch_registration_detect_all__4a3602db_1259_40f5_9348_e53a7f0ca8fd:2550136832+134217728InputFormatClass: org.apache.hadoop.hive.ql.io.orc.OrcInputFormat

21/12/02 09:51:34 INFO rdd.HadoopRDD: Input split: Paths:/user/hive/warehouse/odsiadata.db/ia_fdw_model_result_for_batch_registration_detect_all/ia_fdw_model_result_for_batch_registration_detect_all__173785be_79fd_408f_be3f_d6540399a070:0+134217728,/user/hive/warehouse/odsiadata.db/ia_fdw_model_result_for_batch_registration_detect_all/ia_fdw_model_result_for_batch_registration_detect_all__173785be_79fd_408f_be3f_d6540399a070:134217728+134217728InputFormatClass: org.apache.hadoop.hive.ql.io.orc.OrcInputFormat

21/12/02 09:51:34 INFO rdd.HadoopRDD: Input split: Paths:/user/hive/warehouse/odsiadata.db/ia_fdw_model_result_for_batch_registration_detect_all/ia_fdw_model_result_for_batch_registration_detect_all__c1e47e6e_8765_4c0b_9c26_73e434799347:0+175085967InputFormatClass: org.apache.hadoop.hive.ql.io.orc.OrcInputFormat

21/12/02 09:51:34 INFO rdd.HadoopRDD: Input split: Paths:/user/hive/warehouse/odsiadata.db/ia_fdw_model_result_for_batch_registration_detect_all/ia_fdw_model_result_for_batch_registration_detect_all__4a3602db_1259_40f5_9348_e53a7f0ca8fd:268435456+134217728,/user/hive/warehouse/odsiadata.db/ia_fdw_model_result_for_batch_registration_detect_all/ia_fdw_model_result_for_batch_registration_detect_all__4a3602db_1259_40f5_9348_e53a7f0ca8fd:402653184+134217728InputFormatClass: org.apache.hadoop.hive.ql.io.orc.OrcInputFormat

点击excutor的日志可以看到如何划分的，每128M划分为一个块

某些刚好比128M多一点的167.0 M也当作一个块

其中excutor1 分了9个块 那为啥是5个task呢？

 其实是这样的有的一个task读取了两个块，可以看到上面总共是5条记录

注意下我们的文件

307.2 M  921.6 M  /user/hive/warehouse/odsiadata.db/ia_fdw_model_result_for_batch_registration_detect_all/ia_fdw_model_result_for_batch_registration_detect_all__173785be_79fd_408f_be3f_d6540399a070
1.4 K    4.2 K    /user/hive/warehouse/odsiadata.db/ia_fdw_model_result_for_batch_registration_detect_all/ia_fdw_model_result_for_batch_registration_detect_all__43d2a20a_b9e2_4182_8d0c_c8a9e0491f69
3.1 G    9.4 G    /user/hive/warehouse/odsiadata.db/ia_fdw_model_result_for_batch_registration_detect_all/ia_fdw_model_result_for_batch_registration_detect_all__4a3602db_1259_40f5_9348_e53a7f0ca8fd
11.5 M   34.5 M   /user/hive/warehouse/odsiadata.db/ia_fdw_model_result_for_batch_registration_detect_all/ia_fdw_model_result_for_batch_registration_detect_all__67521883_60a9_4551_ba1c_f7479faf6ed7
95.6 M   286.9 M  /user/hive/warehouse/odsiadata.db/ia_fdw_model_result_for_batch_registration_detect_all/ia_fdw_model_result_for_batch_registration_detect_all__7652d62b_4a74_4e95_b220_5f5ef9c8e50d
167.0 M  500.9 M  /user/hive/warehouse/odsiadata.db/ia_fdw_model_result_for_batch_registration_detect_all/ia_fdw_model_result_for_batch_registration_detect_all__c1e47e6e_8765_4c0b_9c26_73e434799347
7.7 M    23.0 M   /user/hive/warehouse/odsiadata.db/ia_fdw_model_result_for_batch_registration_detect_all/ia_fdw_model_result_for_batch_registration_detect_all__cd8a8198_5fe3_4fc5_b42d_7cdec99155d7

3.1G/128M=24.2个块

307/128M=2.39个块

95.6=1个块

167=1个块

差不多是28-30个块。

task1读取的是4a3602db_1259_40f5_9348_e53a7f0ca8fd:3221225472+158466895 =3G+151MB

                       67521883_60a9_4551_ba1c_f7479faf6ed7:0+12058631 =11.5M

 task2读取的是4a3602db_1259_40f5_9348_e53a7f0ca8fd:2415919104+134217728第19个128M

                        4a3602db_1259_40f5_9348_e53a7f0ca8fd:2550136832+134217728第20个128M

task3读取的是173785be_79fd_408f_be3f_d6540399a070:0+134217728 第1个块128M

                       173785be_79fd_408f_be3f_d6540399a070:134217728+134217728 第2个块128M

task4读取的是4a3602db_1259_40f5_9348_e53a7f0ca8fd:268435456+134217728第3个块128M

                       4a3602db_1259_40f5_9348_e53a7f0ca8fd:402653184+134217728第4个块128M

task5读取的是c1e47e6e_8765_4c0b_9c26_73e434799347:0+175085967 第一个块167M

所以

task1:162.5M

task2:258M

task3:258M

task4:258M

task5:167M

每个都比128M多，同时也尽量按照了128M的块的规则去读取数据。。。有时间再研究下这个分片规则。

按照上面的截图 该executor1处理了1700多w的数据，但是这个input size/records是什么？

以单个的task来看，他处理了481w数据 

在看shuffle write=360.0 B / 6 是对的，因为我分组的字段最终就只有8个，所以该task最后输出结果不超过7是正确的，他输出的结果肯定是 1：100w  2：20w  3：30w。。。。

input size/records=12.3 MB / 4707 貌似无法理解，为什么就处理了4707条数据呢？

 

 个人猜测 虽然数据有480w+，但是执行shuffle的时候

--未完待续
cclovezbf
关注
  • 3
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
SparkWeb:SparkWeb是一个超轻量级的Java Web MVC框架
05-09
Sparkweb MVC 框架介绍 一、什么是 Sparkweb ? Sparkweb 是一个超轻量级的简易高效的 Java WEB 开发框架，其设计思想结合了目前主流的 Spring、Struts2、Playframework、Nodejs-Expressjs、Ruby On Rails 等框架的优秀地方，完美支持 RESTful设计。 二、Sparkweb 框架定位 简易：没有过多的封装，接近底层的接口使用方式；没有XML等配置文件，采用少量的注解方式进行。 高效：由于无过多封装、接近底层接口使用，同时采用 ASM 来完成反射调用，使得处理过程非常的高效。、 实用：没有加入过多的花哨的东西，一切都从WEB开发的实用角度出发。 三、Sparkweb 框架的组成 Sparkweb框架包括：基础的MVC、国际化、JavaBean验证器、缓存 和 可选的 ORM 实现。 四、Sparkweb
Spark Web UI详解
SunWuKong_Hadoop的博客
12-27 1860
spark Web UI是学习调试spark任务的入口，查看spark UI任务日志也是一项必备技能。但在几番搜索后，一直没能找到全面详细地对如何查看spark Web UI方法的文章，故在查看资料及个人理解的基础上整理了本篇文章，欢迎大家一起交流学习！ 下面对spark Web UI的各tab页分别进行介绍： 1. Jobs 在提交spark任务运行后，日志中会输出tracking URL即...
Spark2.1.0——WebUI框架体系
beliefer的博客
11-20 1871
阅读建议：阅读本文前最好先阅读《Spark2.1.0——SparkUI的实现》一文。          Spark UI构建在WebUI的框架体系之上，因此应当首先了解WebUI。WebUI定义了一种Web界面展现的框架，并提供返回Json格式数据的Web服务。WebUI用于展示一组标签页，WebUITab定义了标签页的规范。每个标签页中包含着一组页面，WebUIPage定义了页面的规范。我们将...
Spark应用程序WebUI详解.docx
06-18
这是 Spark 关于 WEBUI 的详细讲解，对 Spark WEBUI 可以有一定的认识。
深入理解Spark+核心思想与源码分析
01-29
深入理解Spark 核心思想与源码分析 《深入理解SPARK：核心思想与源码分析》结合大量图和示例，对Spark的架构、部署模式和工作模块的设计理念、实现源码与使用技巧进行了深入的剖析与解读。
Spark--一文了解WebUI
最新发布
qq_46893497的博客
01-16 1671
日常工作中经常用到sparkui来排查一些问题，有些东西需要经常搜索，网上的文章有写的很棒的，也有写的一言难尽的，这里参考了其他大佬的文章，自己整体梳理了一下，方便自己使用，也希望能帮助到大家～
如何基于Spark Web UI进行Spark作业的性能调优
Gavin_ke的博客
04-11 775
如果了解自己的数据和应用程序，那么可以从执行UI中推断出理想的数据分布和所需的分区数。例如，假设在给定事件“x”上应用了某些数据的过滤器，那么在生成的RDD中，“事件”列就变得多余了，因为从技术上讲，所有行都是事件“x”。Spark Web UI是分析Spark作业性能的非常方便的工具，但是对于初学者来说，仅从这些分散的可视化页面数据很难获取到有用的信息。请注意，本文并不包含从Spark Web UI中解释的详尽信息列表，而只包含我在项目中发现的相关信息，但对于读者来说足够通用。希望作业中有更少的阶段。
【Spark】Spark Web UI - Stages
每天更新大数据面经和技术
06-12 1327
Spark Web UI - Stage
yarn WEB UI及reserved memory、spark WEB UI
peidezhi的专栏
03-02 4452
1 yarn web ui: Apps Submitted：已提交的应用 Apps Completed：已完成的应用 Apps Running：正在运行的应用 Containers Running：正在运行的容器 Memory Total：集群总内存 Memory Used：已使用内存 VCores Total：集群 CPU 总核数 VCores Used：已使用的 CPU 核数 Memory Reserved：预..
深入理解Spark 核心思想与源码分析
04-02
深入理解Spark 核心思想与源码分析深入理解Spark 核心思想与源码分析深入理解Spark 核心思想与源码分析深入理解Spark 核心思想与源码分析深入理解Spark 核心思想与源码分析
深入理解SparkStreaming执行模型
02-26
SparkStreaming是Spark中最常用的组件之一，将会有越来越多的有流处理需求的用户踏上Spark的使用之路。本文描述了SparkStreaming的架构并解释如何去提供上述优势，以及一些目前进行的令大家感兴趣的相关后续工作。正如市面上存在众多可用的流处理引擎，人们经常询问我们SparkStreaming有何独特的优势？那么首先要说的就是ApacheSpark在批处理以及流处理上提供了原生支持。这与别的系统不同之处在于其他系统的处理引擎要么只专注于流处理，要么只负责批处理且仅提供需要外部实现的流处理API接口而已。Spark凭借其执行引擎以及统一的编程模型可实现批处理与流处理，这就是
深入理解Spark
12-18
《深入理解SPARK：核心思想与源码分析》结合大量图和示例，对Spark的架构、部署模式和工作模块的设计理念、实现源码与使用技巧进行了深入的剖析与解读。, 《深入理解SPARK：核心思想与源码分析》一书对Spark1.2.0版本的源代码进行了全面而深入的分析，旨在为Spark的优化、定制和扩展提供原理性的指导。阿里巴巴集团专家鼎力推荐、阿里巴巴资深Java开发和大数据专家撰写。, 本书分为三篇：, 准备篇（第1～2章），介绍了Spark的环境搭建、设计理念与基本架构，帮助读者了解一些背景知识。, 核心设计篇（第3～7章），着重讲解SparkContext的初始化、存储体系、任务提交与执行、计算引擎及部署模式的原理和源码分析。通过这部分的内容，读者可以通过源码剖析更加深入理解Spark的核心设计与实现，以便在实际使用中能够快速解决线上问题并对性能进行调优。, 扩展篇（第8～11章），主要讲解基于Spark核心的各种扩展及应用，包括SQL处理引擎、Hive处理、流式计算框架Spark Streaming、图计算框架GraphX、机器学习库MLlib等内容。通过阅读这部分内容，读者可以扩展实际项目中对Spark的应用场景，让Spark焕发活力。
spark报错：Cannot overwrite a path that is also being read from.
cclovezbf的博客
11-04 5492
第一个解决办法真不行。我查了下这两个参数大多是解决spark读取hive表数据量不对的情况用的。而且我设置之后还有报错就不贴出来了。为啥不用append 因为有时候会重复调用。反正就是这么个情况。大概就是获取表里的原始数据，然后从别的地方搞来的新数据两个合起来继续存到表里去。找个时间好好学习下spark的checkpoint知识。第三个这种lowb方法就不说了。这个错看起来很简单。
spark sql之hint 学习
cclovezbf的博客
01-26 4401
官网永远是学习的最好地方。 Hints - Spark 3.2.0 Documentationhttps://spark.apache.org/docs/latest/sql-ref-syntax-qry-select-hints.html public static void main(String[] args) throws KuduException, InterruptedException { SparkConf sparkConf = new SparkConf(
scala中的private 和 private[]
cclovezbf的博客
05-27 3265
winutils下载 https://github.com/cdarlint/winutils 配置好环境变量 或者 System.setProperty("hadoop.home.dir", "F:\\office\\hadoop-2.7.1\\bin\\winutils.exe")
spark sql之巧用group by
cclovezbf的博客
10-21 2615
大数据（big data），是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。1.5*1000*1000*1000kb=1.5*1000*1000mb=1.5*1000G=1.5T 当然我这个计算是不准确的。我这里都是自己想的。这个就是我最开始提出的疑问 有的key是合并了。所以我们提前预知任务的个数，然后采用合适的资源，再根据资源的选择去确定任务个数，这样才是最正确的做法。
spark插入动态分区代码报错
cclovezbf的博客
11-07 2194
config("hive.metastore.dml.events","false") 就好了。windows确实好了。.config("hive.exec.dynamic.partition.mode", "nonstrict")//动态分区。.config("hive.metastore.dml.events","false")//动态分区。但是我在服务器跑代码反复测试 都是可以重复插入分区的。window实在是难搞。dataset第一次插入分区没有问题，但是第二次重新跑的时候。
spark web ui
09-05
Spark Web UI（用户界面）是一个用于监控和管理Apache Spark应用程序的Web界面。它提供了可视化的方式来查看Spark作业的执行情况、任务的进度以及资源使用情况等重要信息。 Spark Web UI的主要功能包括以下几个方面： 1. 集群总览：显示整个Spark集群的概要信息，如作业和任务的数量、已使用的内存和CPU等。 2. 作业视图：显示已提交的作业列表，包括作业的ID、名称、启动时间、运行时长等信息。用户可以通过该视图来查看作业的执行进度，并了解作业的整体状况。 3. 任务视图：显示作业中各个任务的详细信息，包括任务的ID、状态、运行时间、执行器等。用户可以通过该视图来跟踪任务的执行情况，以及查看任务的日志和异常信息。 4. 阶段视图：展示作业中各个阶段（stage）的信息，包括阶段的ID、名称、状态、任务数等。用户可以通过该视图来了解每个阶段的执行情况和性能瓶颈，从而进行调优和优化。 5. 存储视图：显示Spark应用程序中的缓存数据的详细信息，包括缓存的名称、类型、大小等。用户可以通过该视图来监控缓存数据的使用情况，并决定是否需要进行缓存的清理或释放。 通过Spark Web UI，用户可以实时地监控Spark应用程序的执行情况，并从中获取有价值的性能和调优信息。同时，它也为开发人员提供了一个方便的界面来跟踪任务和作业的执行状态，以便于及时发现和解决问题。总之，Spark Web UI是一个强大而易用的工具，帮助用户更好地理解和管理他们的Spark应用程序。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值