机器学习--分类算法--softmax回归算法理论

最新推荐文章于 2024-07-24 16:19:34 发布

我是疯子喽

最新推荐文章于 2024-07-24 16:19:34 发布

阅读量415

点赞数

文章标签：数据挖掘机器学习 python 算法

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/weixin_35733800/article/details/105069118

版权

目录

一 softmax回归算法理论概述

1 Softmax回归是Logistc回归的一般化

2 Softmax函数（本质就是将k维度实数向量压缩成另一个k维实数向量，其中每个维度取值范围是(0,1)）

二 softmax回归算法原理

1）对于数据集而言，目标属性y具有k个类别（y=1,2,...,k）

2）目标属性的分布律

3）引入置信函数

一 softmax回归算法理论概述

1 Softmax回归是Logistc回归的一般化

适用于k分类问题，针对每个类别都有一个参数向量 $\theta$ 从而组成一个参数矩阵 $\theta _{k*n}$

2 Softmax函数（本质就是将k维度实数向量压缩成另一个k维实数向量，其中每个维度取值范围是(0,1)）

logit函数的变形

$logit:log\frac{p}{1-p}=\theta^{T} x\rightarrow log\frac{\sum_{i=1}^{k-1}p_{i}}{p_{k}}=\sum_{i=1}^{k-1}\theta_{i}^{T}x$

$\Rightarrow log\frac{1-p_{k}}{p_{k}}=\sum_{i=1}^{k-1}\theta_{i}^{T}x$

softmax函数

$\Rightarrow log\frac{1-p_{k}}{p_{k}}=\sum_{l=1}^{k-1}\theta_{l}^{T}x\Rightarrow \frac{1-p_{k}}{p_{k}}=e^{\sum_{l=1}^{k-1}\theta_{l}^{T}x}$

$\Rightarrow 1-p_{k}=p_{k}e^{\sum_{l=1}^{k-1}\theta_{l}^{T}x}\Rightarrow p_{k}(1+e^{\sum_{l=1}^{k-1}\theta_{l}^{T}x})=1$

$\Rightarrow p_{k}=\frac{1}{1+e^{\sum_{l=1}^{k-1}\theta_{l}^{T}x}}$

最低0.47元/天解锁文章

我是疯子喽

关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
机器学习--分类算法--softmax回归算法理论

本篇内容参考《百面机器学习》《统计学习方法》第一部分理论概述1 Softmax回归是Logistc回归的一般化，适用于k分类问题，针对每个类别都有一个参数向量从而组成一个参数矩阵2 Softmax函数本质上就是将k维度实数向量压缩成另一个k维实数向量，其中每个维度取值范围是(0,1)第二部分理论模型1 模型前提1）对于数据集而言，目标属性y具有k个类别（y=1,2...
复制链接

扫一扫

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。