Softmax回归介绍以及公式由来

海滩上的那乌克丽丽

已于 2022-03-23 22:29:52 修改

阅读量823

点赞数

分类专栏： softmax 机器学习文章标签：回归机器学习算法

于 2022-02-26 21:59:50 首次发布

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/h2728677716/article/details/123122609

版权

机器学习同时被 2 个专栏收录

44 篇文章

订阅专栏

2 篇文章

订阅专栏

本文介绍了softmax回归的原理，通过证明多项式分布属于指数族，利用广义线性回归的性质推导出softmax函数，确保类别概率和为1。关键步骤包括：多项式分布到指数族、广义线性模型的应用与softmax公式得出。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.softmax回归是一种多分类的算法

2.softmax是基于多项式分布，即有多个分类，其中每条样本预测的概率加和等于1用公式表达就是 $\sum_{i=1}^{k}\phi _{i} =1$

3.如果由k各类别: 1, 2, 3, 4, 5, 6...k,其中第一个类别的概率是1.0，那么其他每个类别的概率就是0

全部加起来就是1。

4.思路：

这里联合分布的概率密度函数推导成指数族分布的形式就可以用广义线性回归建模，然后就可以用广义线性回归剩下两条性质，推导出saftmax函数。

性质1：T(y) = y

性质2：η = θTX

5.证明广义线性回归属于指数族分布

我们知道联合分布概率密度函数是：通过一下联合分布概率密度函数证明他是属于指数族分布。

6.那么我们可以看出η等于 $\sum_{i=1}^{k-1}log(\frac{\phi _{i}}{\phi _{k}})$

展开：

$\eta _{i} = log(\frac{\phi _{i}}{\phi _{k}}) <=> e^{\eta _{i}}=\frac{\phi _{i}}{\phi _{k}}$

$\phi _{i} = \phi _{k}e^{\eta _{i}}$

又因为 $\phi$ 是每个类别的概率，我们知道所有类别的概率加起来等于1，那么得到下面的式子

那么再将 $\phi _{k}$ 反代回 $\phi _{i} = \phi _{k}e^{\eta _{i}}$

我们就能得到

因为 $\eta_{j} = \theta_{j} ^{T}x$ ,至此我们得到softmax公式

softmax将每个类别的概率加和等于1。

总结步骤：

假设数据服从多项式分布 -> 证明多项式分布属于指数族分布的一种 --> 使用广义线性回归的性质

-->推导出softmax公式

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。