![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
模型优化
文章平均质量分 65
云帆@
自然语言处理工程师
展开
-
pytorch钩子函数
定义案例1-分析某一层结果案例2-挂载到模型上,分析每一层参数案例3-挂载到fc层反向传播上,增加噪音模块可视化。原创 2024-07-21 11:10:50 · 529 阅读 · 1 评论 -
模型剪枝入门
1.定义2. 案例13. 全局剪枝案例4. 全局剪枝案例5. 自定义剪枝6. 特定网络剪枝7. 多参数模块剪枝8. torch.nn.utils.prune 解读。原创 2024-07-21 11:04:16 · 307 阅读 · 0 评论 -
72B大模型分片部署
目的官方教程案例小模型修改device_map 方式二。原创 2024-07-16 10:34:00 · 422 阅读 · 0 评论 -
torch.compile模型编译加速
定义接口介绍案例。原创 2024-07-15 16:05:37 · 439 阅读 · 0 评论 -
GPU内存快照分析工具
定义案例-使用方法案例。原创 2024-07-15 11:18:05 · 422 阅读 · 0 评论 -
profiler进阶
gpu summary 分析trace 跟踪视图 分析每个算子用时分析gpu 内核利用率分析内存分析内存快照,进行分析。原创 2024-07-15 11:12:40 · 713 阅读 · 0 评论 -
profiler模型性能分析与优化入门
profiler 作用入门pyproftorch.summary/torchinfo 模型参数量分析以及模型可视化profiling 参数分析-模型分析分析某一个算子做内存快照。原创 2024-07-15 11:03:36 · 314 阅读 · 0 评论 -
nsightcompute进阶
1 python 代码测试2 roofline analysis 屋檐模型分析3 summary 分析4 Speed of light throughput 分析5 带宽分析6 内存分析。原创 2024-07-12 14:57:56 · 1080 阅读 · 0 评论 -
python-torch加载c++与内核函数
python 在线加载.cu 文件python 加载.cu 文件方式2二、实现python 在线加载.cu 文件python 加载c++ 方法采用的是torch.utils.cpp_extension包的扩展方法。直接加载cu文件,则采用torch.utils.cpp_extension.load() 方法。"fused",sources=[],具体: fused_bias_act.cpp//scalar_t y;原创 2024-07-11 13:30:38 · 453 阅读 · 0 评论 -
NsightCompute教程入门
使用pycuda 获取显卡的性能手动绘制rootline model.nsight system 安装教程nsight system 使用教程–nsight system 分析pytorch 神经网络nsight compute 安装教程nsight compute 使用教程nsight system 与nsight compute 应用区别遇到的问题。原创 2024-07-08 14:36:52 · 1252 阅读 · 0 评论 -
模型优化Roof-line模型的使用
当模型的计算强度 I 大于计算平台的计算强度上限 Imax 时,模型在当前计算平台处于 Compute-Bound状态,即模型的理论性能 P 受到计算平台算力 π 的限制,无法与计算强度 I 成正比。当模型的计算强度 I 小于计算平台的计算强度上限 Imax 时,由于此时模型位于“房檐”区间,因此模型理论性能 P 的大小完全由计算平台的带宽上限 β (房檐的斜率)以及模型自身的计算强度 I 所决定,因此这时候就称模型处于 Memory-Bound 状态。---->计算、绘图。------>求模型的推理量。原创 2024-07-04 17:10:37 · 1103 阅读 · 0 评论 -
GGUF模型转换入门
1 定义2 案例。原创 2024-06-27 10:54:02 · 441 阅读 · 0 评论 -
ITREX大语言模型量化-优化工具
定义demo 案例。原创 2024-06-23 10:55:39 · 192 阅读 · 0 评论 -
模型算子的理解与入门
对算子的理解算子检测指标与工具自定义cuda实现pytorch 算子(Taichi库、Numba库、Cupy库和PyTorch的cpp_extension模块)原创 2024-06-20 14:53:28 · 418 阅读 · 0 评论