分类器
作用:于将编码转换为人类所能理解的编码(希望网络给我们一个输出标签)。
分类器都带有一个准则函数,用以计算误差。从控制论的角度上看,控制工程中,误差是系统校正的核心,没有误差便没有反馈,没有反馈,则系统难以控制。
常用的分类器有三种:平方误差、softmax、支撑向量机~
softmax分类器:
“二进制编码”和“k中取1”的比较:
二进制编码: 00 01 10 11
k中取1: 0001 0010 0100 1000
softmax可以实现"k中取1"的形式。是logistics回归的推广。logistics只能分2类,softmax可以多类。
回顾一下关于 logistic 回归
我们的训练集由 个已标记的样本构成: (注意:一个(x,y)为一个样本,x为数据值,y为类别标记),其中输入特征。(注意:特征向量 的维度为 ,其中 对应截距项 。) 由于 logistic 回归是针对二分类问题的,因此类标记 。
对于softmax回归
我们解决的是多分类问题(相对于 logistic 回归解决的二分类问题),类标 可以取 个不同的值(而不是 2 个)。因此,对于训练集 ,我们有 。(注意此处的类别下标从 1 开始,而不是 0)。例如,在 MNIST 数字识别任务中,我们有 个不同的类别。
下面是一个手写公式推导:
作用:在已知softmax为指数概率分布和公式下,推导出输入数据为x时,输出为类别i的概率P(y=i/x;θ)