![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
文章平均质量分 82
寅贝勒
相信自己能做到比努力本身更重要
展开
-
Anaconda安装与使用
Anaconda介绍:Anaconda指的是一个开源的Python发行版本,其包含了conda、Python等180多个科学包及其依赖项。 因为包含了大量的科学包,Anaconda 的下载文件比较大(约 531 MB),如果只需要某些包,或者需要节省带宽或存储空间,也可以使用Miniconda这个较小的发行版(仅包含conda和 Python)Anaconda下载与安装这个全网有很多教程,提几个值得注意的点。...原创 2020-12-17 23:21:39 · 3786 阅读 · 1 评论 -
Filter Grafting for Deep Neural Networks论文笔记
嫁接与裁剪,蒸馏的区别滤波器裁剪旨在去除无效的滤波器,以加速网络的推理。而滤波器嫁接打算激活这些无效的滤波器。值得注意的是,尽管滤波器嫁接的动机与剪枝相反,但嫁接仍然需要选择一个合适的标准来决定哪些滤波器是不重要的。嫁接可能涉及并行地训练多个网络。因此,这个过程类似于蒸馏学习。嫁接和蒸馏的区别在于,蒸馏是一个两阶段的过程。首先,我们需要训练一个大模型(老师),然后使用训练好的大模型来教一个小模型(学生)。而嫁接是一个单阶段的过程,在训练过程中进行滤波器嫁接。此外如下代码所示,我们在每个epoch中嫁接权值原创 2021-03-11 21:53:49 · 4031 阅读 · 0 评论