迁移学习理解

迁移学习

看b站霹雳吧啦的视频课，对迁移学习做个总结笔记：

如上图，迁移学习在网络前层的时候都是学习提取到的共用特征，只是一些角点信息，在其它图片上可能也差不多的纹理信息，而网络后层提取到的特征就是图片的比较明显的特征了，比如说图片中有人物，那后面网络可能就会提取到人的鼻子以及眼睛这些人类独有的特征，和其它图片比如说牛那肯定就不太一样了。总的来说就是靠近输入的网络提取公有信息，靠近输出的网络提取特有信息。
为什么？这是因为在靠近输入层的网络其感受野比较小，只能看到原图上比较小的信息，而靠近输出层的感受野比较大，看到信息更多。

常见迁移学习方式：

1、载入权重后训练所有参数
2、载入权重后只训练最后几层参数
3、载入权重后在原网络基础上再添加一层全连接层，仅训练最后一个全连接层
对于第一种，是基于整个权重文件训练自己的数据，需要注意最后全连接层需要改为自己数据的类别数。这个方法往往准确率高一点，但又比全部由自己搭建网络训练自己数据更快。
第二种是只训练最后几层网络，比如说只训练最后几层的全连接或者卷积，因为可能后面的几层提取的特征比较明显差异，可以从这开始训练。
第三种是在原始网络上添加一层全连接层，只训练最后一层，这个速度很快。

以上就是看了视频做的简单总结，用来自己回顾学习的。谢谢up主。