Logistic回归拓展到多分类

                                          Logistic多分类

转载注明出处:https://blog.csdn.net/ouyangfushu/article/details/84797493

作者:SyGoing

QQ:  244679942

1、概率模型

    逻辑斯蒂回归本来是用于多分类,改变其概率模型函数则可将其拓展到多分类(class num>2)问题。原始逻辑斯蒂回归模型如下(来源为之前的逻辑斯蒂回归模型文章):

                                           

                                           

                                           

 其中,
                                            https://i-blog.csdnimg.cn/blog_migrate/64ab09c9d8d3b504323aca49ab4233b5.png

逻辑斯蒂多分类则改写为:

                                          

                                         

                                         

                                         

           公式中可以看出,现在要对K个类别进行分类,若K=2则变为二分类问题的公式。K>2则为多分类, 前K-1个类别表达式为式1表达式,最后一类则为1-式1所得。需要学习的权值向量总共有k-1个。不禁让人想起softmax,但观察可知多项逻辑斯蒂回归模型和softmax还是有区别的,softmax需要的学习的权值向量个数与类别数目相等。

2、损失函数推导

        多项逻辑斯蒂回归模型的推导,同样可以采用极大似然估计进行建模,标签需要进行one-hot编码。写出样本集的似然函数:

                                 

将概率模型带入似然函数并取对数:

                                

 

                                  

其中上标i表示第i个样本,yik表示样本i在第k类的标签,如果样本不属于该类则yik=0,否则yik=1表示样本i属于k类的概率。

       优化要求极大似然函数最大,等式右边取负号则变成最小化目标函数。假设其最小值为极值,则对损失函数求偏导,并令其等于零则可求得权值的梯度值。

PS:这公式不忍直视,但是不觉得恶心的时候就能耐心的推导完毕

 

 

评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值