logistic回归和 Softmax回归

最新推荐文章于 2024-04-10 08:00:00 发布

茶茶喝茶

最新推荐文章于 2024-04-10 08:00:00 发布

阅读量185

点赞数

分类专栏：机器学习文章标签：逻辑回归机器学习回归

本文链接：https://blog.csdn.net/pnghoe/article/details/119416594

版权

机器学习专栏收录该内容

1 篇文章

订阅专栏

logistic回归

一个对数几率回归

$\frac{1}{1-e^{-z}}$
$\bold{w^Tx}+b$

对数据集 $\{\bold{x}_i,y_i\}^{m}_{i=1}$ , $m$ 笔数据， $\bold{w}$ 和 $\bold{x}$ 都是竖向量， $y_i$ 是标量 $y_i\in\{0,1\}$
$y$ 视为正例可能性( $y = = 1$ )， $1 - y$ 视为反例可能性，则 $\text{ln}\frac{y}{1-y}$ 为其对数几率
如果反过来呢 y是反例 1-y为正例

$\text{ln}\frac{y}{1-y}=\bold{w^Tx}+b$

$\left[ \begin{array}{ccc} p(0|\bold{x,w}) \\ p(1|\bold{x,w}) \end{array} \right] =\frac{1}{1+e^{\bold{w^Tx}+b}}\left[\begin{array}{ccc}1\\ e^{\bold{w^Tx}+b}\end{array}\right]$

损失函数, $m$ 笔数据，用极大似然法，对数似然
怎么又是cross entropy？
$L=\sum_{1=1}^m\text{ln}p(y_i|\bold{x},\bold{w})$

损失函数最后的形式是西瓜书3.27

softmax回归

本质上是一种多分类逻辑回归(Multinomial logistic regression)
对数据集 $\{\bold{x}_i,\bold{y}_i\}^{m}_{i=1}$ , $m$ 笔数据， $\bold{w}_i$ 和 $\bold{x}$ 都是竖向量， $y_i$ 是有 $k$ 个类别 $\bold{y}_i\in\{0,1,2,...,k\}$ ，所以也有k个 $\bold{w}$ ， ${\bold{w_1},\bold{w_2},...,\bold{w_k}}$

$\left[ \begin{array}{ccc} p(y=1|\bold{x,w}) \\ p(y=2|\bold{x,w}) \\ \vdots\\ p(y=k|\bold{x,w}) \end{array} \right] =\frac{1}{\sum^k_{i=1}e^{\bold{w_i^Tx}+b}}\left[\begin{array}{ccc}e^{\bold{w_1^Tx}+b}\\ e^{\bold{w_2^Tx}+b}\\ \vdots\\ e^{\bold{w_k^Tx}+b}\end{array}\right]$

同样的损失函数,是交叉熵这里对 $m$ 笔数据求平均
$L=\frac{1}{m}\sum^m_{i=1}(\sum^k_{j=1}1\{y=j\}\frac{e^{\bold{w_j^Tx}+b}}{\sum^k_{\alpha = 1}e^{\bold{w_\alpha^Tx}+b}})$

softmax的实现

交叉熵损失函数的反向传播——back propagation

求交叉熵损失函数对输入的偏导数

有 ${a_1,a_2,a_3,...,a_N\}$ 的 $N$ 维输入，经过softmax层输出 $\{\frac{\exp(a_1)}{\sum}\},\{\frac{\exp(a_2)}{\sum}\},\{\frac{\exp(a_3)}{\sum}\}...,\{\frac{\exp(a_N)}{\sum}\}$

经过交叉熵 $L$
$L=-\sum^{N}_{k=1}{t_k\ln{y_k}}$
这里 $t_k$ 为监督数据， $k=1\sim{N}$

现在要求 $\frac{\partial{L}}{\partial{a_i}}$ ，这里还原到矩阵实际上要求一个 $N$ 维的梯度 $\{\frac{\partial{L}}{\partial{a_1}},\frac{\partial{L}}{\partial{a_2}},...\frac{\partial{L}}{\partial{a_N}}\}$

这个梯度是怎么用的呢？
如果是Affine层+Softmax with Loss层，那么这个求出来的梯度作为Affine层误差反向法的入参，可以求其权重和偏置的梯度。。。,最终目的还是更新权重和偏置。

求解过程如下，求导这里可以看出交叉性，矩阵方程的特点。

$\frac{\partial{L}}{\partial{a_i}} = {\sum_{i=1{\sim}k}}\frac{\partial{L}}{\partial{y_k}}\frac{\partial{y_k}}{\partial{a_i}}$

其中记 $y_k= \frac{\exp(a_k)}{\sum}$ ,由于

$\frac{\partial{L}}{\partial{y_k}} =-\frac{y_k}{t_k}$

(1)式为
$\frac{\partial{L}}{\partial{a_i}} = {\sum_{i=1{\sim}k}}-\frac{y_k}{t_k}\frac{\partial{y_k}}{\partial{a_i}}$

现在求 $\frac{\partial{y_k}}{\partial{a_i}}$ ,因为 $k=1\sim{N}$ 所以分 $k = i$ 和 $k\neq{i}$

如果 $k = i$

$\frac{\partial{y_i}}{\partial{a_i}}=y_i-{y_i}^2$

如果 $k\neq{i}$

$\frac{\partial{y_k}}{\partial{a_i}}=-y_i{y_k}$

把(3)(4)带入
$\frac{\partial{L}}{\partial{a_i}} = {\sum_{k\neq{i}}\frac{t_k}{y_k}y_i{y_k}}+\frac{t_i}{y_i}(y_i^2-y_i)=y_i\sum_{i=1\sim{N}}{t_k}-t_i$
这里是交叉着乘的,监督数据 $t$ 是one-hot的也即 $\sum_{k=1\sim{N}}t_k=1$ 得到
$\frac{\partial{L}}{\partial{a_i}} = y_i-t_i$