Logistic多分类
转载注明出处:https://blog.csdn.net/ouyangfushu/article/details/84797493
作者:SyGoing
QQ: 244679942
1、概率模型
逻辑斯蒂回归本来是用于多分类,改变其概率模型函数则可将其拓展到多分类(class num>2)问题。原始逻辑斯蒂回归模型如下(来源为之前的逻辑斯蒂回归模型文章):
其中,
逻辑斯蒂多分类则改写为:
公式中可以看出,现在要对K个类别进行分类,若K=2则变为二分类问题的公式。K>2则为多分类, 前K-1个类别表达式为式1表达式,最后一类则为1-式1所得。需要学习的权值向量总共有k-1个。不禁让人想起softmax,但观察可知多项逻辑斯蒂回归模型和softmax还是有区别的,softmax需要的学习的权值向量个数与类别数目相等。
2、损失函数推导
多项逻辑斯蒂回归模型的推导,同样可以采用极大似然估计进行建模,标签需要进行one-hot编码。写出样本集的似然函数:
将概率模型带入似然函数并取对数:
其中上标i表示第i个样本,yik表示样本i在第k类的标签,如果样本不属于该类则yik=0,否则yik=1;表示样本i属于k类的概率。
优化要求极大似然函数最大,等式右边取负号则变成最小化目标函数。假设其最小值为极值,则对损失函数求偏导,并令其等于零则可求得权值的梯度值。
PS:这公式不忍直视,但是不觉得恶心的时候就能耐心的推导完毕