前面我们已经说了logistic回归,训练样本是,(且这里的是d维,下面模型公式的x是d+1维,其中多出来的一维是截距横为1,这里的y=±1也可以写成其他的值,这个无所谓不影响模型,只要是两类问题就可以),训练好这个模型中参数θ以后(或者是这个模型,这俩是一个模型),然后给入一个新的,我们就可以根据模型来预测对应label=1或0的概率了。
前面处理的是两类问题,我们想把这个两类问题扩展,即根据训练好的模型,给入一个新的,我们就可以根据模型来预测对应label=1,2,…k等多个值的概率。我们首先也是最重要的部分是确定这个新的模型是什么。对于一个x,新的模型(j=1,2..k)要加起来等于1.
我们假设新模型为:
……………………………………..……………………………………………………………………(1)
其中 是模型的参数在实现Softmax回归时,将 用一个 的矩阵来表示会很方便,该矩阵是将 按行罗列起来得到的,如下所示:
这里说一个问题:在logistic回归中,是两类问题,我们只用了一个θ,这里我们是不是也可以只用k-1个θk就可以表示所有的模型呢?具体就是我们只需要把置为0.所以=1,这样带入公式(1)中就可以少使用一个,我们验证一下,如果k=2即两类问题时,这个模型就退化成logistic回归,我们令θ2=0,那么我们得到:
, ,得证。所以说我们的参数矩阵确实存在参数冗余,这个问题,下面还会继续说。
接下来我们要做的是求cost function:
我们知道logistic的cost function(不加约束项)为,即把每个样本带入其label 对应的模型公式里(的label是1,就把代入,是0就代入),然后把所有样本带入模型得到的结果相乘再取对数log(对数运算也就是每个样本带入模型得到的结果再相加),取平均。我们这里同样这样做,只是因为这里类别计较多,我们使用一个”示性函数‘’来使公式表达整洁:
是示性函数,其取值规则为: 值为真的表达式 , 值为假的表达式 。
举例来说,表达式 的值为1 ,的值为 0。
我们的代价函数为(不加约束项):
我们知道对logistic回归模型的cost function 最小化,这里以梯度下降法进行说明:
这里的θ是一个k*(n+1)的矩阵,对应着模型里面的所有参数,我们现在有一个θ参数矩阵值
,那么我们通过梯度下降法得到的新的θ’参数矩阵值是多少呢,怎么求?是这样的,比如我们更新θ(1,1)这个参数目前对应的值,
求导得到的是一个数(即把所有和目前的θ参数矩阵值带入左边这个公式得到的结果即是,而不是还需要θ的第一个元素增加一个增量什么的,因为这里已经对θ(1,1)求导了)。有的地方是按梯度更新的,梯度是一个向量,但梯度也是分别对每一个参数求导得到的数,然后组成的向量。这里这么写是为了便于理解(在程序中还是以矩阵运算进行的,所以跟这个公式会有出入,但是核心思想是一样的)。然后新的θ’参数矩阵值的第一个元素θ’(1,1)=θ(1,1)-a。然后利用同样的方法得到新的参数矩阵值θ’的其他元素θ’(v,u)。我们得到θ’后,我们按这种方法再次迭代得到新的参数矩阵值θ”…..最后得到使收敛的模型参数。
这时候我们讨论一下前面提到的参数冗余问题:
现在我们模型的参数矩阵θ求好了,那么我们有一个样本,我们想求下这个样本对应的label等于各个i(i=1,2…k)的概率即利用。
这时候我们让矩阵θ的每一行 都变成 ()。那么对任意的j,j∈,有
也就是说参数矩阵θ的每一行都减去减去某一个常向量得到新的参数矩阵θ’,那么这两个参数矩阵是等价的,即一个样本对应的label等于各个i(i=1,2…k)的概率在两个参数矩阵下是一样的。这时候我们假设如果参数 是代价函数 的极小值点,那么 同样也是它的极小值点,其中 可以为任意向量。因此使 最小化的解不是唯一的。(有趣的是,由于 仍然是一个凸函数,如果是只是用梯度下降法的话,不会遇到局部最优解的问题。但是 Hessian 矩阵是奇异的/不可逆的,这会直接导致采用牛顿法优化就遇到数值计算的问题,所以我们还是要寻找在使用梯度下降、牛顿法或其他算法时都可以解决参数冗余所带来的数值问题的办法)
这时候我们可以考虑这个等于某一个,那么这个就变成了0向量,这样新的参数矩阵就少了一组变量,只需要k-1组,我们就可以构建模型,这样我们的cost function的优化结果只有唯一解。并且在logistic公式中我们也是这么做的,前面已经证明了。
在实际应用中,为了使算法实现更简单清楚,往往保留所有参数 ,而不任意地将某一参数设置为 0。但此时我们需要对代价函数做一个改动:加入权重衰减。权重衰减可以解决 softmax 回归的参数冗余所带来的数值问题。
我们通过添加一个权重衰减项 来修改代价函数,这个衰减项会惩罚过大的参数值,现在我们的代价函数变为:
- 那为什么加入这个权重衰减项也就是L2正则项后,就可以解决参数冗余所带来的数值问题?
在优化参数每次迭代得到新的θ‘时,与前面的相比,我们这里只要需要改变上面的a,即上面的a还要加上一个数。你要更新θ元素的某个元素θ(v,u),就是把对应的a变成:a加上正则项权重lamuda倍的原参数矩阵对应的元素θ(v,u),从而得到a’,然后更新θ’(v,u)=θ(v,u)-迭代速率α倍的a’。