逻辑回归的梯度下降

最新推荐文章于 2023-07-31 20:30:58 发布

MinJinFan

最新推荐文章于 2023-07-31 20:30:58 发布

阅读量4k

点赞数 3

分类专栏： Machine Learning 文章标签：逻辑回归梯度下降

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/qq_37264323/article/details/105264405

版权

这篇博客探讨了逻辑回归在分类问题中的应用，解释了由于线性回归的局限性而引入Logistic函数的原因。文章详细介绍了Logistic回归模型，并通过最大似然估计构建目标函数。接着，讨论了逻辑回归的梯度下降算法，比较了它与线性回归梯度下降的异同。最后，提供了C++代码实现逻辑回归的梯度下降过程。

摘要由CSDN通过智能技术生成

对于假设函数： $h(\theta)=\theta_{0}x_{0}+\theta_{1}x_{1}+\cdots +\theta_{n}x_{n}=\theta^{T}X$

0、分类

就是字面的意思，对某个事物进行分类，好的还是坏的，yes或者no，等等。一般实现时使用1或者0。也就是说得出的结果是两个离散值0，1,即 $y\in {0,1}$ 。

线性回归应用在分类问题中的局限性：

当输出在（0，1）之间时，我们会得到一个期望的值，但是如果输出在1之外的话，线性回归可能得到一个很差的结果。

所以需要引进一个函数：Logistic函数 $g(z)=\frac{1}{1+e^{-z}}$

logistic函数的定义域为 $(-\infty ,+\infty )$ ，值域为 (0,1) 。就用这个函数对目标进行分类。

将假设函数 $h(\theta)=\theta_{0}x_{0}+\theta_{1}x_{1}+\cdots +\theta_{n}x_{n}=\theta^{T}X$ 与 logistic函数 $g(z)=\frac{1}{1+e^{-z}}$ 结合后为：

$h(\theta)=\frac{1}{1+e^{\theta^{T}X}}$ ，

这时我们暂时可以这么认为：只要当 $h(\theta)>0.5$ 时，那么我们可以认为结果为1，反之亦然。

一、Logistic回归模型

$h(\theta)=\theta_{0}x_{0}+\theta_{1}x_{1}+\cdots +\theta_{n}x_{n}=\theta^{T}X$ ， $\theta=(\theta_{0},\theta_{1},\cdots ,\theta_{n})$ $X=(x_{0},x_{1},\cdots ,x_{n})^{T}$

现考虑有 n+1个独立的向量（其实是n个， $x_{0}$ 恒等于1），设条件概率 P(y=1|X) 为根据训练量相对于事件发生的概率。

那么用Logistic回归模型表示： $P(y=1|X)=g(X)=\frac{1}{1+e^{-X}}$

同理，y不发生的概率就是： $P(y=0|X)=1-g(X)=\frac{1}{1+e^{X}}$

现在假设训练样本中有 m 个训练样本，其训练结果分别为 $y_{1},y_{2},\cdots ,y_{n}$ 。

设在给定条件下(第 i 个训练样本的向量) $y_{i}=1$ 的概率为：

最低0.47元/天解锁文章

关注

3
点赞
踩
34

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。