原理笔记 - 深度学习之混合模型

原理笔记 - 深度学习之混合模型.... 1

1. 呈上启下的前言.... 1

2. 迁移学习.... 2

3. 在线学习.... 3

4. 混合模型.... 3

4.1 半监督学习法.... 4

4.1.1半监督学习方法之一：伪标签学习.... 4

1. 呈上启下的前言

通过前面几篇笔记的学习：

       《原理笔记 - MLP多层感知器》

       《原理笔记 - 卷积神经网络（CNN）》

       《原理笔记 - 卷积神经网络(CNN)之经典模型》 

       《原理笔记 - 循环神经网络（RNN）》

我们已经了解了，深度学习的三大核心知识点，总结如下：

作为深度学习篇的最后一部分，我们将再介绍一些非常实用的工具和学习方法：

2. 迁移学习

解释：把已有模型作为初始点，重新使用在新模型的开发过程中，从而达到运用已有知识发现新的规律的目的，可运用到解决不同但相似领域的问题。

举个例子：老师传授知识的过程就像是迁移学习

1. 第一代老师，根据经验总结规律，传授给下一代

2. 第二代老师，根据前一代的基础发现新的规律，传授给下一代

3. 以此类推，对的信息流传下来，复杂的规律被找到。

三种实现方法：

1. 使用大佬模型中提取特征的部分（参数不变），提取之后转格式输入自建模型。

2. 使用大佬模型结构，对新数据二次训练，只更新权重系数

3. 使用大佬模型，对新数据二次训练，但只更新部分指定权重系数

3. 在线学习

解释：将新数据输入给已经训练好的模型，实现模型更新，不需要对全数据集再次训练，但能发现新规律。

举个例子：用户在不同时间对商品的价格接受度是不一样的，如何确定价格？

如何实现：连续的数据流输入模型，模型结构保持不变，权重系数更新。

案例：物流公司快递价格，不同时期如何定价？

1. 根据距离，天气，竞争对手价格等，建立专家模型

2. 根据用户的实时下单情况（地点信息，物品信息，报价），预测客户对不同价格的购买意愿（客户是否下单），根据意愿度调整价格

4. 混合模型

所谓混合模型，是指根据实际场景的灵活组合。

举个例子：

背景：现在有40张草莓的图片，包括两大品种，普通草莓和奇特草莓。其中只有12个普通草莓有正确的标签，其他样本均无标签。在不对样本打标的情况下，建立模型，实现奇特草莓的检测。

特点：样本少，部分标注（都是正样本），负样本类别无法穷尽，图像数据

思路：使用无监督学习找出正样本重要属性，区分正负样本，充分利用标签样本对无监督模型进行监督优化，最后尝试增加样本数，这就是半监督学习。

监督学习 + 无监督学习 = 半监督学习

4.1 半监督学习法

解释：监督学习和无监督学习相结合的一种学习方法，半监督学习使用大量的未标记数据，以及同时使用标记数据，进行模式识别工作。

意义：在标签有有限的情况下，尽可能识别同类的共同特性，同时利用大量无标签样本提起有价值的信息。

4.1.1半监督学习方法之一：伪标签学习

解释：用有标签数据训练一个分类器，然后用这个分类器对无标签数据进行分类，无标签数据就会产生伪标签，挑选出认为分类正确的，再和原始有标签数据一起训练模型。

伪标签的局限性：

1. 标签数据可能都是一个类别，因此无法训练出有效分类器

2. 可能无法找到‘挑出正确样本’的筛选准则

温馨提示：

1.半监督并没有特定的额训练方法，要多尝试，灵活运用

2.有标签数据并不局限于自己收集到的数据，可以利用别人相似数据或模型，比如：利用vgg16提取图像特征。

下面我们会使用 ‘奇特草莓识别’案例，做实战训练。