深度学习模型压缩预先知识

深度学习模型压缩预先知识

• 机器学习尤其是深度学习理论基础

吴恩达的机器学习与深度学习视频：网易云课堂

机器学习https://study.163.com/course/courseMain.htm?courseId=1004570029

深度学习

https://mooc.study.163.com/smartSpec/detail/1001319001.htm (重要)

注：

也可以在B站搜索相关视频，还有李宏毅的机器学习视频可供选择。

书籍可以选择周志华的机器学习（西瓜书），李航的统计学习等。

• Python基础以及机器学习框架基础

Python语法基础：MOOC网上嵩天的课程https://www.icourse163.org/course/BIT-268001

框架：Pytorch和Tensorflow至少选择一种，目前学术方面Pytorch较多，工业领域Tensorflow较多。

Pytorch手册：

https://pytorch-cn.readthedocs.io/zh/latest/package_references/torch-nn/#_1

Pytorch快速入门教程：

https://www.baidu.com/link?url=fhMtGDfUsZvQCqO0VN60iRAiOpTCJspIFj2GP8y3JIYmvpmHcPRL3iTacFLhZfTNDD5YeaatlIJ3UlSS6J4P8utE102jr3Q5tigNxrmpSFK&wd=&eqid=ca65dac70023b372000000035ef887c5

 

Tensorflow手册：

http://www.tensorfly.cn/tfdoc/get_started/introduction.html

注：

在B站上有相关教程视频。

框架环境可以在学校服务器上安装镜像或者在自己电脑上下载CPU版本练手，CPU版本安装较为简单。

• 集成开发环境及基本模型训练

集成开发环境：Pycharm

基本模型训练：包括Lenet，VGG，ResNet等在cifar10数据集上的训练。上面的手册教程中会讲解。

Github：https://github.com/kuangliu/pytorch-cifar

• 入手模型压缩的论文

综述：纪荣嵘,林绍辉,晁飞,吴永坚,黄飞跃. 深度神经网络压缩与加速综述[J]. 计算机研究与发展, 2018, 55(9): 1871-1888.

入门论文：

1. Pruning filters for effecient convnets：

https://arxiv.org/abs/1608.08710

1. Soft Filter Pruning for Accelerating Deep Convolutional Neural Networks：

https://arxiv.org/abs/1808.06866