机器学习——线性模型之softmax回归

最新推荐文章于 2023-09-09 11:36:01 发布

小宇哥学AI

最新推荐文章于 2023-09-09 11:36:01 发布

阅读量728

点赞数

分类专栏：机器学习

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/codman/article/details/78182011

版权

机器学习专栏收录该内容

15 篇文章 0 订阅

订阅专栏

一、简介

1、 softmax回归模型是logistic回归模型在多分类问题上的推广，即类标签可取两个以上的值。

2、假设（预测）函数

3、每一个样本估计其所属类别的概率： $p(y^{(i)}=j|x^{(i)};θ)=e^{θ_j^T x^{(i)}} / ∑_{l=1}^k {e^{θ_l^T x^{(i)}} }$

二、代价函数及其求解

1、指示函数

2、 Softmax回归的代价函数（可参考LR的代价函数）

$J(θ)=-1/m \{ ∑_{i=1}^m∑_{j=1}^k [I(y^{(i)}=j) \ log \ (e^{θ_j^T x^{(i)} } / ∑_{l=1}^k e^{θ_l^T x^{(i)} } )]\}$

3、使用梯度下降法进行求解

a) 对代价函数进行求梯度，得 $∇_(θ_j ) J(θ)=-1/m ∑_{i=1}^m x^{(i)} [I(y^{(i)}=j)-p(y^{(i)}=j|x^{(i)};θ)]$

b) 更新公式 $θ_j≔θ_j-α∇_{θ_j} J(θ)$

三、Softmax回归特点

1、 softmax回归中存在参数冗余的问题，冗余参数对预测结果没有任何影响，即存在多组最优解（过度参数化）

$p(y^{(i)}=j|x^{(i)};θ)=e^{(θ_j^T-φ) x^{(i)}} / ∑_{l=1}^k {e^{(θ_l^T-φ) x^{(i)}} }=e^{θ_j^T x^{(i)}}e^{φ x^{(i)}} / ∑_{l=1}^k {e^{θ_l^T x^{(i)}} e^{φ x^{(i)}}}=e^{θ_j^T x^{(i)}} / ∑_{l=1}^k {e^{θ_l^T x^{(i)}} }$

2、 J(θ) 依然是凸函数，梯度下降是不会遇到局部最优，但是Hessian矩阵时非奇异的，牛顿法优化遇数值计算问题

3、当类别k=2时，softmax回归退化为logistic回归

4、解决k分类问题：类别间互斥，可采用softmax回归；否则可采用k个独立的二元分类器

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
机器学习——线性模型之softmax回归

softmax回归学习笔记
复制链接

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。