深度学习之---Caffe(一)

名词解释与小知识

• 泛化：机器仅仅通过看训练样本就有举一反三的能力。
• 惩罚函数L（f，Z）：
  f：学习到的规则
  Z：独立于训练样本的验证样本集
  返回值为实数标量，又称为惩罚值（loss）
• 一炮而红！
  2012 AlexNet：hinton老爷子的学生Alex 在2012年参加了LSVRC 的视觉识别竞赛，成绩很好引起巨大反响。
• 大佬们：
  Google： Hinton, GoogleNet, TensorFlow, AlphaGo
  Microsoft: Ross Girshick, Deep Residual Learning Framework
• 表示学习
  （Representation Learning）: 直接以原始数据形式输入。
• 深度学习：多层表示学习，由非线性模块构建而成，这些模块将上一层表示转化为更高层的表示。
• 随机梯度下降：stochastic gradient descent, SGD. 对于训练集中大量的小样本重复“输入小样本->计算输出和误差->计算样本平均梯度，据此调节权值”，直到目标函数停止下降。
• 线性分类器： 二分类线性分类器计算特征向量元素的加权和，若加权和高于某个阈值，则该输入被分到一个特定类别。

• 反向传播算法：

• 特征图（feature map）：卷积层的单元组织

• 过拟合： 模型参数远大于数据量时，相当于求解欠定方程，存在多解的可能性大，容易产生过拟合问题。

• 欠拟合：模型参数小于数据量时。

简答

1. 相比深度学习，传统学习的局限性在于？
   传统机器学习需要人工去设计特征提取器。

2. 深度学习在分类问题中的优势是？
   在分类问题中，高层表示可以强调出更加重要的类别信息，抑制无关信息。比如，第一层学到边缘特征，第二层学图案，第三层组合图案对应部件等等，这些特征都是机器自己学习到的，无需设计。

3. 算法如何调权？
   计算梯度向量，表示每个权值增加一个微小值时目标函数的变化量，之后权值向量根据梯度向量的相反方向进行调节

4. 卷积神经网络的四项基本原则是？
   局部互联、共享权值、下采样、使用多个卷积层。

5. 未完待续