机器学习的解惑笔记

1 过拟合

过拟合.机器学习中的过拟合过拟合指的是referstoa模型对于训练数据拟合程度过当的情况。 当某个模型过度的学习训练数据中的细节和噪音，以至于模型在新的数据上表现很差，我们称过拟合发生了。

2 RE-ID

RE-ID。Person Re-identification，即行人重识别。具体看：Person Re-identification Overview 以及Person Re-identification

3 PPT末尾的Q & A

Question and Answer，即问答环节。

4 fine-tuning

caffe的fine-tuning是什么意思?

把已经训练过的模型应用到新的数据集上。主要优点是相比于从scratch训练能在更短时间内达到相同的效果。

例如：

1. fine-tuning：先拿CNN在cifar100上训练，然后仅仅修改最后一层softmax的输出节点数（100改为10），再放到cifar10上训练。
2. train from scratch：相同结构的CNN直接用cifar10训练。

结果：

第一种情况可能只要1000次迭代就能达到60%的accuracy，第二种情况可能需要4000次才能达到60%的accuracy。

在caffe官网上有fine-tuning的例子，解释更详细。

5 弱监督=半监督

弱监督与半监督是一个东西。具体见：什么是弱监督

半监督学习(Semi-Supervised Learning，SSL)是模式识别和机器学习领域研究的重点问题，是监督学习与无监督学习相结合的一种学习方法。它主要考虑如何利用少量的标注样本和大量的未标注样本进行训练和分类的问题。主要分为半监督分类，半监督回归，半监督聚类和半监督降维算法。

6 聚类

聚类是把相似的对象通过静态分类的方法分成不同的组别或者更多的子集（subset），这样让在同一个子集中的成员对象都有相似的一些属性，常见的包括在坐标系中更加短的空间距离等。

7 top1和top5

请看这里

8 学习率

学习率：为了能够使得梯度下降法有较好的性能，我们需要把学习率的值设定在合适的范围内。学习率决定了参数移动到最优值的速度快慢。如果学习率过大，很可能会越过最优值；反而如果学习率过小，优化的效率可能过低，长时间算法无法收敛。所以学习率对于算法性能的表现至关重要。