迁移学习 自我监督学习

学习内容：

1. 迁移学习

迁移学习是一种机器学习技术，它允许我们将从一个任务中学到的知识应用到另一个相关但不同的任务中。就像你在学校学过的数学知识可以帮你解决现实生活中的财务问题一样，迁移学习也是利用已有的知识来解决新的问题。

---

为什么需要迁移学习？

有时候，我们想要解决的问题可能没有足够的数据来训练一个高性能的模型。或者，收集和标注数据可能非常昂贵。在这种情况下，迁移学习可以帮助我们利用已经存在的、与新任务相关的大规模数据集来提升新任务的表现。

---

迁移学习怎么做？

1.预训练模型：首先，我们需要一个已经在大量数据上训练好的模型。这个模型通常是为了解决一个与我们的目标任务相关但又不完全相同的任务而训练的。

2.调整模型：接下来，我们会把这个预训练好的模型拿过来，对它进行一些修改，使其更适合我们的目标任务。这通常涉及到保留模型的一些层不变，而修改或添加一些层来适应新的任务。

3.微调：最后，我们会在新的数据集上训练这个调整后的模型，让它逐渐适应新的任务。这一步通常只需要较少的数据量。

举例

假设你有一个已经训练好的图像分类模型，它能很好地识别出猫和狗。现在，你想要开发一个新的应用程序，让模型能够识别出不同种类的花。

1.预训练模型：你已经有了一个在大量猫狗图像上训练好的模型。 调整模型：你保留了这个模型的大部分结构，但是改变了最后一层，让它输出的是花的不同种类而不是猫狗。

2.微调：你在这个新任务上使用了一些标记好的花朵图像来微调模型，让它学会识别新的类别。

3.经过微调后，这个模型现在不仅能识别猫和狗，还能识别不同种类的花。这是因为模型从猫狗分类任务中学到的图像特征也可以帮助它识别花朵。

2.自监督学习

1. 定义：自监督学习是一种学习方式，它不需要人为提供的标签，而是利用数据自身的信息作为“监督”信号来训练模型。
2. 目的：目的是让模型学会从数据中提取有用的信息，从而更好地理解和表示这些数据。

举例

假设你有很多猫和狗的照片，但没有标记哪些是猫，哪些是狗。

---

1.拼图游戏：我们可以把一张照片切成几块，然后随机打乱顺序。然后让模型预测这些碎片应该如何排列才能还原成原来的图片。这样，模型就能学会识别猫和狗的特征。

---

2.颜色预测：我们可以去掉照片中的颜色信息，只留下黑白的轮廓。然后让模型预测每个区域应该是什么颜色。这样，模型就能学会理解猫和狗的外观特征。

---

3.旋转预测：我们可以把照片旋转一定的角度，然后让模型预测旋转了多少度。这样，模型就能学会理解猫和狗的形状。

结果： 经过这样的训练后，模型虽然没有直接学习到“这是猫”或“这是狗”，但它学会了如何从照片中提取有用的特征。这些特征可以用来做很多不同的事情，比如识别出新的照片中是猫还是狗。