深度学习在图像识别中的应用--学习笔记4

分类器

作用：于将编码转换为人类所能理解的编码（希望网络给我们一个输出标签）。

分类器都带有一个准则函数，用以计算误差。从控制论的角度上看，控制工程中，误差是系统校正的核心，没有误差便没有反馈，没有反馈，则系统难以控制。

常用的分类器有三种：平方误差、softmax、支撑向量机~

softmax分类器：

“二进制编码”和“k中取1”的比较：

二进制编码： 00   01  10  11

k中取1： 0001  0010  0100   1000

softmax可以实现"k中取1"的形式。是logistics回归的推广。logistics只能分2类，softmax可以多类。

回顾一下关于 logistic 回归

我们的训练集由  个已标记的样本构成： （注意：一个（x,y）为一个样本，x为数据值，y为类别标记），其中输入特征。（注意：特征向量  的维度为 ，其中  对应截距项 。） 由于 logistic 回归是针对二分类问题的，因此类标记 。

对于softmax回归

我们解决的是多分类问题（相对于 logistic 回归解决的二分类问题），类标  可以取  个不同的值（而不是 2 个）。因此，对于训练集 ，我们有 。（注意此处的类别下标从 1 开始，而不是 0）。例如，在 MNIST 数字识别任务中，我们有  个不同的类别。

下面是一个手写公式推导：

作用：在已知softmax为指数概率分布和公式下，推导出输入数据为x时，输出为类别i的概率P(y=i/x;θ)