logistic regression的概率思想

最新推荐文章于 2022-06-26 14:01:18 发布

yeqiustu

最新推荐文章于 2022-06-26 14:01:18 发布

阅读量256

点赞数

分类专栏：机器学习#LR 文章标签：逻辑回归正则化机器学习

本文链接：https://blog.csdn.net/yeqiustu/article/details/105780400

版权

机器学习#LR 专栏收录该内容

0 篇文章 0 订阅

订阅专栏

本篇将对LR（logistic regression）进行讲解，主要从以下几个方面展开：

LR的两种等价表示形式
LR与线性回归
LR与最大似然
LR与最大后验
LR参数求解

LR的两种等价表示形式

LR是一个线性二分类的概率模型，表示为 $f(X) = W^T X + b; \; predictionClass = C1 \;if\; f(X) > 0 \; else \; C2$ ，

简化表示，记 $\theta = (b, W)$

当用0/1表示C1和C2时，其对应的概率表示为： $\left\{ \begin{matrix} p(y_i=1|X_i,\theta) &=& \sigma(f(X_i)) &=& \frac{1}{1+e^{-f(X_i)}} \\ p(y_i=0|X_i, \theta) &=& 1-p(y_i=1|X_i,\theta) &=& \frac{1}{1+e^{f(X_i)}} \end{matrix}\right.$

当用-1/1表示C1和C2时，其对应的概率表示为： $p(y_i|X_i,\theta) = \sigma(y_i X_i) = \frac{1}{1+e^{-y_i f(X_i)}}$

显然上述两种概率表示是相等的，只不过对y的表示不同而已。

LR与线性回归

由前面可知， $W^T X + b = f(X) =ln(\frac{p(y=1)}{1-p(y=1)})$ ，等式右边也就是对数几率；所以LR也可以看做线性回归，只不过其回归的目标是对数几率。

LR与最大似然

似然估计是一种假设未知参数为常量的参数估计方法，其目标是估计出未知参数使得观测样本出现的概率最大，通常为了求解方便进行了取对数，

$Likelihood= \prod_i{p(y_i|X_i,W,b)} \\ \rightarrow LL = \sum_{i}{ln(p(y_i|X_i,W,b))} = -\sum_{i}{ln(1+exp^{-y_if(X_i)})}$

求最大似然，即求最小损失L

$L(\theta) = \sum_{i}{ln(1+exp^{-y_if(X_i)})}$

损失L分别对W、b求导：

$\partial L(\theta) / \partial W= \sum_{i}(p(y_i|X_i)-1)y_iX_i$ 、 $\partial L(\theta) / \partial b= \sum_{i}(p(y_i|X_i)-1)y_i$

LR与最大后验

后验估计是一种假设未知参数为随机变量的参数估计方法，其目标是使得观测样本下出现特定参数的概率最大，同样为了求解方便进行取对数，

$Posterior= {p(\theta|X,y)}=p(y|X,\theta)p(\theta)/p(y|X) \\ \rightarrow LogPost = \sum_{i}{ln(p(y_i|X_i,\theta))}+ln(p(\theta))-ln(p(y|X))\\ = -\sum_{i}{ln(1+exp^{-y_if(X_i)})}+ln(p(\theta))-constant$

最大后验概率，即最小损失L

$L(\theta) = \sum_{i}{ln(1+exp^{-y_if(X_i)})} - ln(p(\theta))$

当参数的先验概率服从拉普拉斯分布 $p(\theta|\mu=0,b) = \frac{1}{2b}exp^{\frac{-|\theta-\mu|}{b}}$ 时，

$L(\theta) = \sum_{i}{ln(1+exp^{-y_if(X_i)})} + C||\theta||_1$ ，即似然损失+L1正则

通常对b不做正则约束，损失L分别对W、b求导：

$\partial L(\theta) / \partial W= \sum_{i}(p(y_i|X_i)-1)y_iX_i + C \frac{\partial||\theta||_1}{\partial W}$ 、 $\partial L(\theta) / \partial b= \sum_{i}(p(y_i|X_i)-1)y_iX_i$

当参数的先验概率服从高斯分布 $p(\theta|\mu=0,\Sigma=diagonal) = \frac{1}{\sqrt{(2\pi)^D|\Sigma|}}exp^{{-\frac{1}{2}(\theta-\mu)^T}\Sigma ^{-1}{(\theta-\mu)}}$ 时， $L(\theta) = \sum_{i}{ln(1+exp^{-y_if(X_i)})} + C||\theta||_2^2$ ，即似然损失+L2正则

通常对b不做正则约束，损失L分别对W、b求导：

$\partial L(\theta) / \partial W= \sum_{i}(p(y_i|X_i)-1)y_iX_i + C \frac{\partial||\theta||_2^2}{\partial W}$ 、 $\partial L(\theta) / \partial b= \sum_{i}(p(y_i|X_i)-1)y_iX_i$

参数求解

根据上面得出的损失对参数的梯度，使用梯度下降法迭代求解即可。

yeqiustu

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
logistic regression的概率思想

本篇将对LR（logistic regression）进行讲解，主要从以下3个方面展开：LR的两种等价表示形式 LR与线性回归 LR与最大似然LR的两种等价表示形式LR是一个线性二分类模型，表示为，当用0/1表示C1和C2时，其对应的概率表示为：当用-1/1表示C1和C2时，其对应的概率表示为：显然上述两种概率表示是相等的，只不过对y的表示不同而已。LR与线性回归...
复制链接

扫一扫

专栏目录