讲座_加速深度学习计算的算法和硬件
本课摘自2017年CS231N韩松老师的讲座,子豪兄对讲义进行了中文批注和讲解,全方位展示加速训练和加速推断的算法和硬件。
大型深度学习模型对能耗、低延迟、快速训练、芯片的需求。
加速推断的算法:模型裁剪、权重合并、权重量化、低秩近似、二值/三值量化、Winograd加速卷积。
加速推断的硬件:Roofline Model计算瓶颈理论、EIE芯片架构。
加速训练的算法:数据并行、模型并行、混合浮点数精度、知识蒸馏、DSD密集-稀疏-密集训练。
加速训练的硬件:CPU、GPU、TPU。
扩展链接:
模型压缩总览:https://www.jianshu.com/p/e73851f32c9f
霍夫曼编码的理解:https://blog.csdn.net/xgf415/article/details/52628073
winograd加速卷积:https://www.cnblogs.com/shine-lee/p/10906535.html
卷积神经网络中的Winograd快速卷积算法:https://www.cnblogs.com/shine-lee/p/10906535.html
高效卷积实现算法和应用综述(上):https://msd.misuland.com/pd/14237582223355832
陈云霁与DADIANNAO:https://www.bilibili.com/video/av24683679/
知乎,Roofline Model与深度学习模型的性能分析:https://zhuanlan.zhihu.com/p/34204282
知识蒸馏原始论文:https://arxiv.org/abs/1503.02531
cs231n(14)
最新推荐文章于 2024-10-05 19:19:55 发布