37 微调【动手学深度学习v2】(笔记)

目录

一、微调（最重要的技术）

 二、代码

三、问答

---

一、微调（最重要的技术）

1、微调也叫迁移学习，在大数据集上训练出的模型，能不能很好地迁移到小数据集上？

应用迁移学习（transfer learning）将从源数据集学到的知识迁移到目标数据集。

2、网络架构分为：特征抽取+线性分类 两块

 3、微调就是，可以重用特征提取部分，修改全连接层，实现模型复用

 4、这里有提到预训练的概念；最后一层因为标号不同，所以进行随机初始化

 5、使用预训练之后的模型，因为模型已经有一个大概值了，所以往往使用更小的学习率；并且节省开销，避免过拟合，会使用更少的数据迭代；而且在源数据集远远复杂于目标数据时，微调的效果更好，不然，你直接使用目标数据多次迭代也依然可以得到较好的模型

 6、几个常用的技术

• 重用分类器权重

        

•  固定一些层，底层的特征更加通用，固定底部的参数，不参与更新；这样也可以降低模型的复杂度

        

 7、

 二、代码

 代码主要的难点还是一些语法，感觉自己写写不出

三、问答