逻辑回归（Logistic Regression）推导

最新推荐文章于 2024-07-17 00:46:41 发布

StepFoward

最新推荐文章于 2024-07-17 00:46:41 发布

阅读量599

点赞数

分类专栏： Machine Learning学习笔记文章标签：逻辑回归

本文链接：https://blog.csdn.net/u012654847/article/details/81194147

版权

Machine Learning学习笔记专栏收录该内容

3 篇文章 0 订阅

订阅专栏

逻辑回归（Logistic Regression）公式推导

在逻辑回归里，使用sigmoid函数进行预测，sigmoid函数的表达如下：

g （ x ） = 1 1 + e - x

$g（x）= \frac{1}{1+e^{-x}}$ 因此，在进行预测的时候，我们用

hθ(x) h θ ( x ) $h_\theta(x)$ 表示预测的结果。

h θ (x) = g (θ T x) = 1 1 + e - θ T x

$h_\theta(x)=g(\theta^Tx)=\frac{1}{1+e^{-\theta^Tx}}$ 如果从概率的角度出发，预测结果为类别1的概率是

P (y = 1 | x; θ) = h θ (x)

$P(y=1|x;\theta) = h_\theta(x)$ 那么结果为类别0的概率就是

P (y = 0 | x; θ) = 1 - h θ (x)

$P(y=0|x;\theta) = 1-h_\theta(x)$ 将上面两个概率的表达式合并在一起就是

P (y | x; θ) = (h θ (x)) y (1 - h θ (x)) 1 - y

$P(y|x;\theta) =(h_\theta(x))^y(1-h_\theta(x))^{1-y}$ 对上式求似然，可以得到

L (θ) = \prod i = 1 m (h θ (x i)) y i (1 - θ (x i)) 1 - y i

$L(\theta)=\prod^{m}_{i=1}(h_\theta(x_i))^{y_i}(1-\theta(x_i))^{1-y_i}$ 再取对数，得到其对数似然

l (θ) = \sum i = 1 m (y i log (h θ (x i)) + (1 - y i) log (1 - h θ (x i)))

$l(\theta)=\sum_{i=1}^{m}\left(y_i \log(h_\theta(x_i))+(1-y_i)\log(1-h_\theta(x_i))\right)$ 这时，可以构造目标函数

J (θ) = a r g m a x θ l (θ) = a r g m i n θ - 1 m l (θ)

$J(\theta)=argmax_\theta l(\theta) = argmin_\theta-\frac{1}{m}l(\theta)$ 即此时的目标函数为

J (θ) = - 1 m (\sum i = 1 m (y i log h θ (x i) + (1 - y i) log (1 - h θ (x i))))

$J(\theta)=-\frac{1}{m} \left (\sum_{i=1}^m(y_i\log h_\theta(x_i)+(1-y_i)\log(1-h_\theta(x_i)))\right )$ 使用梯度下降法来求解

θ θ $\theta$ 使得

J(θ) J ( θ ) $J(\theta)$ 达到最小，梯度下降的更新公式为

θ j = θ j - α \partial J ( θ ) \partial θ j

$\theta_j=\theta_j-\alpha \frac{\partial J(\theta)}{\partial \theta_j}$ 而

∂J(θ)∂θj ∂ J ( θ ) ∂ θ j $\frac{\partial J(\theta)}{\partial \theta_j}$ 可以由下面的过程计算。

\partial J ( θ ) \partial θ j = - 1 m (\sum i = 1 m (y i 1 h θ ( x i ) \partial h θ ( x i ) \partial θ j + (1 - y i) 1 1 - h θ ( x i ) (- \partial h θ ( x i ) \partial θ j))) = - 1 m \sum i = 1 m (y i g ( θ T x i ) - 1 - y i 1 - g ( θ T x i )) \partial h θ ( x i ) \partial θ j = - 1 m \sum i = 1 m (y i g ( θ T x i ) - 1 - y i 1 - g ( θ T x i )) g (θ T x i) (1 - g (θ T x i)) \partial θ T x i \partial θ j = - 1 m \sum i = 1 m (y i (1 - g (θ T x i)) - (1 - y i) g (θ T x i)) x j i = - 1 m \sum i = 1 m (y i - g (θ T x i)) x j i = 1 m \sum i = 1 m (h θ (x i) - y i) x j i

$\begin {aligned} \frac{\partial J(\theta)}{\partial \theta_j}&=-\frac{1}{m}\left ( \sum_{i=1}^m\left(y_i\frac{1}{h_\theta(x_i)}\frac{\partial h_\theta(x_i)}{\partial \theta_j}+(1-y_i)\frac{1}{1-h_\theta(x_i)}\left(-\frac{\partial h_\theta(x_i)}{\partial \theta_j}\right)\right)\right) \\\ &=-\frac{1}{m}\sum_{i=1}^m\left(\frac{y_i}{g(\theta^Tx_i)}-\frac{1-y_i}{1-g(\theta^Tx_i)} \right)\frac{\partial h_\theta(x_i)}{\partial \theta_j} \\\ &=-\frac{1}{m}\sum_{i=1}^m\left( \frac{y_i}{g(\theta^Tx_i)}-\frac{1-y_i}{1-g(\theta^Tx_i)}\right)g(\theta^Tx_i)(1-g(\theta^Tx_i))\frac{\partial \theta^Tx_i}{\partial \theta_j}\\\ &=-\frac{1}{m}\sum_{i=1}^m\left(y_i(1-g(\theta^Tx_i))-(1-y_i)g(\theta^Tx_i)\right)x_i^j \\\ &=-\frac{1}{m}\sum_{i=1}^m\left(y_i-g(\theta^Tx_i)\right)x_i^j \\\ &=\frac{1}{m}\sum_{i=1}^m(h_\theta(x_i)-y_i)x_i^j \end {aligned}$ 所以，

θj θ j $\theta_j$ 的更新公式为

θ j = θ j - α 1 m \sum i = 1 m (h θ (x i) - y i) x j i

$\theta_j=\theta_j-\alpha \frac{1}{m}\sum_{i=1}^m\left(h_\theta(x_i)-y_i\right)x_i^j$

StepFoward

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
逻辑回归（Logistic Regression）推导

逻辑回归（Logistic Regression）在逻辑回归里，使用sigmoid函数进行预测，sigmoid函数的表达如下： g（x）=11+e−xg（x）=11+e−xg（x）= \frac{1}{1+e^{-x}}因此，在进行预测的时候，我们用hθ(x)hθ(x)h_\theta(x) 表示预测的结果。hθ(x)=g(θTx)=11+e−θTxhθ(x)=g(θTx)=11+e−θTx...
复制链接

扫一扫

专栏目录