cs231n（14）

讲座_加速深度学习计算的算法和硬件
本课摘自2017年CS231N韩松老师的讲座，子豪兄对讲义进行了中文批注和讲解，全方位展示加速训练和加速推断的算法和硬件。
大型深度学习模型对能耗、低延迟、快速训练、芯片的需求。
加速推断的算法：模型裁剪、权重合并、权重量化、低秩近似、二值/三值量化、Winograd加速卷积。
加速推断的硬件：Roofline Model计算瓶颈理论、EIE芯片架构。
加速训练的算法：数据并行、模型并行、混合浮点数精度、知识蒸馏、DSD密集-稀疏-密集训练。
加速训练的硬件：CPU、GPU、TPU。
扩展链接：
模型压缩总览：https://www.jianshu.com/p/e73851f32c9f
霍夫曼编码的理解：https://blog.csdn.net/xgf415/article/details/52628073
winograd加速卷积：https://www.cnblogs.com/shine-lee/p/10906535.html
卷积神经网络中的Winograd快速卷积算法：https://www.cnblogs.com/shine-lee/p/10906535.html
高效卷积实现算法和应用综述（上）：https://msd.misuland.com/pd/14237582223355832
陈云霁与DADIANNAO：https://www.bilibili.com/video/av24683679/
知乎，Roofline Model与深度学习模型的性能分析：https://zhuanlan.zhihu.com/p/34204282
知识蒸馏原始论文：https://arxiv.org/abs/1503.02531