2024年最全鲲鹏devkit性能分析工具介绍（四）_收集热点函数，2024年最新大数据开发中高级面试必知必会

2401_84573307

于 2024-05-14 08:20:49 发布

阅读量778

点赞数 27

分类专栏：程序员文章标签：大数据面试学习

本文链接：https://blog.csdn.net/2401_84573307/article/details/138835439

版权

程序员专栏收录该内容

58 篇文章 0 订阅

订阅专栏

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

采集进程/线程对CPU、内存、存储IO等资源的消耗情况，获得对应的使用率、饱和度、错误次数等指标，以此识别性能瓶颈。针对部分指标项，根据当前已有的基准值和优化经验提供优化建议。支持分析单个进程的系统调用情况。
在这里插入图片描述
进程/线程调度信息，识别线程是否频繁上下文切换；cpu是否频繁调度
NUMA节点切换情况，对于频繁切换的，会给出核绑优化建议
分析在进程线程在各个时间的运行情况，能够方便识别频繁上下文切换的线程
分析CPU核在各个时间点的运行状态，如：idle、running等。如果是running状态，能关联在cpu核上运行的进程/线程信息
同时能够高亮显示某个线程在各个cpu核上的运行情况
在这里插入图片描述

资源调度分析原理

分析工具会采集cpu调度事件数据，从进程/线程的角度排列各个事件，计算各个事件之间的时间差，并标记对应的状态
将每个事件进行排序，计算时间差来分析出那些会出现等待时间过长的情况
将事件的状态进行标记，最后进行统计分析
在这里插入图片描述

资源调度分析举例

多线程程序中，线程之间互相抢占，并目出现一个线程长期占用，导致其他线程长期处于等待状态，造成整个程序性能不高。这种情况一般是锁或互斥量被线程长期占用造成
在这里插入图片描述
在视频例子中由于加锁位置不当，导致线程占用资源时间过长，合理的减少加所范围最后使线程能够最大程度的运行起来

锁与等待分析

锁与等待分析基于Linux perf工具的采样数据，对glibc和开源软件（如MySQL、Open MP）的锁与等待函数（包括sleep、usleep、mutex、cond、spinlock、rwlock、semaphore等）进行分析，关联到其归属的进程和调用点，并根据当前已有的优化经验给出优化建议。
在这里插入图片描述

HPC场景

OpenMP/MPI分析通过采集系统的PMU事件并配合采集面向OpenMP和MPI应用的关键指标，帮助用户精准获得Parallel region及Barrier-to-Barrier的串行及并行时间、校准的2层微架构指标、指令分布及L3的利用率和内存带宽等信息。
1.OpenMP运行时指标，新增细化指标
2.MPI运行时指标
3.top-down微架构指标
4.平均DRAM带宽
5.指令分布 (Instruction Mix)
6. Hotspots
在这里插入图片描述

内存诊断

内存诊断可以分为：

内存泄漏诊断：主要分析应用程序存在的内存泄漏点(包括内存未释放和异常释放)，得出具体的泄漏信息，并支持关联出调用栈信息和源码；分析后得出结果信息主要为Call Tree信息、源码信息、内存消耗信息、OOM信息。
内存越界诊断：主要分析应用程序的内存异常访问点，给出异常访问类型和内存访问信息，并支持关联出调用栈和源码。

内存诊断原理

采用hook技术实现获取内存申请和释放信息，通过内存地址匹配申请点和释放点，判断是否泄漏或异常释放。其中，针对拉起进程的场景，采用preload加载用于hook函数的动态库;针对附着进程的场景，采用ptrace加载用于hook函数的动态库，并替换GOT PLT表。
在这里插入图片描述
内存越界是通过集成Google AddressSanitizer实现。AddressSanitizer在编译时插桩，对每块内存空间(8字节)增加shadowmemory。对所有的memory access都去检查该内存所对应的shadow memory的状态

调优助手原理

采集的数据覆盖OS、应用、硬件等系统各层的配置和性能指标，并根据硬件资源的消耗，来关联消耗这些硬件资源的软件信息，再从这些软件信息，来查看软件对其他的硬件资源的消耗，从而推断出性能瓶颈。将数据从应用消耗、物理消耗以及硬件关联在一起。
在这里插入图片描述

java性能分析

针对Java程序进行性能分析，能图形化显示Java程序的堆、线程、锁、垃圾回收等信息收集热点函数、定位程序瓶颈点，帮助用户进行问题的定位和性能调优。
Profiling (在线分析)
基于attach技术，实现对目标java程序的内部数据的动态采集。包括Java虚拟机的内部状态，如Heap、GC活动、线程状态以及应用层的相关数据，如热点函数、锁分析、I0等。Sampling(采样分析)
基于JFR技术，通过采样的方式收集JVM的内部活动/性能事件，通过录制及回放的方式来进行离线分析。在默认情况下，JFR的性能损耗小于1%。
在这里插入图片描述