模型分布式部署tricks
浪子私房菜
这个作者很懒,什么都没留下…
展开
-
网络输入分辨率是否越大越好
网络模型输入分辨率是否越大越好?原创 2023-02-21 21:24:23 · 1220 阅读 · 1 评论 -
已用于项目,模型训练Tricks——EMA权重滑动平均
EMA训练tricks原创 2023-02-20 14:43:18 · 614 阅读 · 0 评论 -
DL模型部署经验一
模型部署原创 2022-11-12 14:01:25 · 972 阅读 · 0 评论 -
模型量化tricks
模型量化转载 2022-09-13 14:26:31 · 152 阅读 · 0 评论 -
业务案列--pytorch模型剪枝
模型剪枝原创 2022-09-12 17:28:02 · 652 阅读 · 0 评论 -
模型压缩,裁剪,量化
模型压缩, 裁剪, 量化原创 2022-08-28 22:24:09 · 1462 阅读 · 0 评论 -
DDP模式训练
https://www.jianshu.com/p/7818b128b9cd原创 2022-06-09 14:56:52 · 253 阅读 · 0 评论 -
模型优化技巧
模型部署优化,量化、剪枝原创 2022-06-02 16:06:18 · 116 阅读 · 0 评论 -
大规模模型训练tricks集锦
大规模模型训练其实就是在和计算、存储和通信玩的过程,所以我列一下跟这些相关的文章。一. 大规模模型并行策略先来介绍一下几种经典的并行范式,以及他们对应的经典文章1.1 数据并行(Data parallelism)不同设备执行相同模型,不同数据。这个比较简单,贴一篇PyTorch DDP:PyTorch Distributed: Experiences on Accelerating Data Parallel Training代表性工作:Megatron-LM: Efficient原创 2022-05-29 16:23:35 · 533 阅读 · 0 评论