LOGISTIC回归

最新推荐文章于 2024-09-11 12:11:23 发布

m0_66119857

最新推荐文章于 2024-09-11 12:11:23 发布

阅读量27

点赞数

文章标签：回归人工智能机器学习

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/m0_66119857/article/details/134794309

版权

引入

线性模型

一般地，线性模型为一个n元函数：

$f ( x )= w_1x_1+w_2x_2+...+w_ix_i+...+w_nx_n + b(i=1,2,...,n)$

记：

$\boldsymbol{w}=\left ( w_1,w_2,...,w_n \right )$

$\boldsymbol{x}=\left ( x_1,x_2,...,x_n \right )$

则该模型的向量形式为：

$f(x)=\boldsymbol{w}^\tau \boldsymbol{x}+b$

线性回归

目标

使线性模型更加拟合数据集，即：

求得一个 $f(x)$ ，使得

$\forall D=\left \{ (x_1,y_1),...,(x_m,y_m)\right \},f(x_i)\simeq y_i(i=1,...,m)$

自变量处理

对于有“顺序”的属性，如身高的高低，质量的多少，有时可以转化为一个区间内的连续变量。

但大多数情况下（尤其是无序变量），需要转换为多元向量。

如：乘坐地铁、公交车、骑行（三选一），若对其分别只进行一元赋值，则自变量之间并非互相独立。显然，只有转化为多元向量才能解决。

（本例中，由于样本只能三选一，实际上设置二元向量即可满足独立性要求）

求取模型参数

最小二乘法估计参数

设 $e_i=f(x_i)-y_i$

目标：使 $\sum e_i^2$ 最小

对 $E_{(w,b)}=\sum (y_i-wx_i-b)^2$ 求 $w$ 和 $b$ 的偏导，得

$E'_w=2(w \sum_{i=1}^{m}x_i^2-\sum_{i=1}^{m}(y_i-b)x_i)=0$

$E'_b=2(mb-\sum_{i=1}^{m}(y_i-wx_i))=0$

解得

$\hat{w}=\frac{\sum_{i=1}^{m}y_i(x_i-\overline{x})}{\sum_{i=1}^{m}x_i^2-\frac{1}{m}(\sum_{i=1}^{m}x_i)^2}$

$\hat{b}=\frac{1}{m}\sum_{i=1}^{m}(y_i-\hat{w}x_i)$

其中 $\overline{x}=\frac{1}{m}\sum_{i=1}^{m}x_i$

线性回归的推广

原理： $y=g(f(x))=g(wx+b)$ ， $g(x)$ 连续可微。

eg:设 $g(x)=e^x$ ，则 $y=g(f(x))=e^{wx+b}$

两边取对数，得 $lny=wx+b$

Logistic回归

Logistic模型适用于自变量与因变量间并非线性关系，且因变量为分类变量的情况。

对于这样一组 $x,y$ ，试图采用线性模型：

取 $f(x_i)=wx_i+b$ ，为了利用线性模型，需要找到 $g$ ，使 $y=g(f(x))=wx+b$ 。

但是，由于 $y$ 为分类变量，是离散的，这样直接找到的单位阶跃函数 $g(x)$ 既不连续也不可微。

为了解决问题，采用Logistic函数（Sigmoid函数） $Logistic(x)=\frac{1}{1+e^{-x}}$ 拟合单位阶跃函数。

于是：

$y=Logistic(f(x))=\frac{1}{1+e^{-(\boldsymbol{w^\tau x}+b)}}$

对数几率

样本作为正例的相对可能性的对数， $ln\frac{y}{1-y}$ ，称作对数几率。

$\because ln\frac{y}{1-y}=\frac{P(y=1|\boldsymbol{x})}{P(y=0|\boldsymbol{x})}=\boldsymbol{w^\tau x}+b$

$\therefore P(y=1|\boldsymbol{x})=\frac{e^{\boldsymbol{w^\tau x}+b}}{1+e^{\boldsymbol{w^\tau x}+b}}$ $P(y=0|\boldsymbol{x})=\frac{1}{1+e^{\boldsymbol{w^\tau x}+b}}$

求取参数

（常用极大似然估计，即求

令 $L(\theta_1,...,\theta_m)=\prod_{i=1}^{m}f(x_i;\theta_1,...,\theta_m)$ 取到最大值时，各 $\theta$ 的值。

其中， $\theta_1,...,\theta_m$ 为未知参数， $x$ 为样本点， $f$ 为概率密度函数。）

给定数据集 $\left \{ (\boldsymbol{x}_i,y_i) \right \}^m_{i=1}$ ，最大化样本属于其真实标记的概率，即

最大化 $\sum_{i=1}^{m}lnP(y_i|\boldsymbol{x}_i;\boldsymbol{w},b)$

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

m0_66119857 CSDN认证博客专家 CSDN认证企业博客

码龄3年

7: 原创

145万+: 周排名

27万+: 总排名

2206: 访问

: 等级

121: 积分

38: 粉丝

51: 获赞

0: 评论

43: 收藏

私信

关注

热门文章

最新评论

支持向量机（SVM）
CSDN-Ada助手: 非常棒的博客！支持向量机(SVM)的应用领域非常广泛，而且你对于如何减少计算量进行了深入的探讨，这对于实际应用非常有帮助。除了高维空间内内积的计算方法，你可能还可以了解一下SVM在处理非线性问题时的核函数的应用，以及如何选择合适的核函数来提高分类的准确性。希望你能继续分享更多关于机器学习和数据分析的知识，期待你的下一篇博客！如何写出更高质量的博客，请看该博主的分享：https://blog.csdn.net/lmy_520/article/details/128686434?utm_source=csdn_ai_ada_blog_reply2

最新文章

目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。