统计学习方法——逻辑回归

最新推荐文章于 2024-09-10 14:26:22 发布

llluka77

最新推荐文章于 2024-09-10 14:26:22 发布

阅读量120

点赞数

文章标签：逻辑回归学习方法机器学习

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/weixin_52901905/article/details/130088043

版权

逻辑分布（Logistic Distribution）：

定义：设X是连续型随机变量，X服从逻辑斯谛分布是指X具有以下的分布函数和分布密度： $F(x)=P(X\leq x)=\frac{1}{1+e^{-\frac{(x-\mu )}{\gamma }}}$ ; $f(x)={F}'(x)=\frac{e^{-\frac{(x-\mu )}{\gamma }}}{\gamma (1+e^{-\frac{(x-\mu )}{\gamma }})^{2}}$ ，式中 $\mu$ 是位置参数， $\gamma$ 是形状参数。

分布函数是一条S形曲线，该曲线也被称为sigmoid曲线，关于点 $(\mu ,\frac{1}{2})$ 中心对称。
概率密度函数是一条钟型曲线，中间高两边低，关于 $x=\mu$ 对称，在此处取得最大值 $\frac{1}{4}\gamma$ 。

逻辑回归（Logistic Regression）：

定义：

设 $x\in R^{n}$ 是输入， $Y\in \left \{ 0,1 \right \}$ 是输出， $w\in R^{n}$ 和 $b\in R$ 是参数， $w$ 称为权值参数，b称为偏置， $w\cdot x$ 表示 $w$ 与 $x$ 的内积。二项逻辑回归模型为以下的条件概率：

$P(Y=1|x)=\frac{e^{w\cdot x+b}}{1+e^{w\cdot x+b}}$ ; $P(Y=0|x)=\frac{1}{1+e^{w\cdot x+b}}$

该模型的输入变量和输出变量之间不存在线性关系；
逻辑回归的输入变量可以是连续变量或离散变量；
参数估计采用极大似然估计法。

参数估计方法：

可以用极大似然估计法来求参数 $w$ ，

$L(w)=\prod_{i=1}^{N}P(Y=y_{i}|x_{i})=\prod_{i=1}^{N}P_{i}^{y_{i}}(1-P_{i})^{1-y_{i}}=\sum_{i=1}^{N}[y_{i}logp_{i}+(1-y_{i})log(1-p_{i})]=\sum_{i=1}^{N}[y_{i}(w\cdot x_{i})-log(1+exp(w\cdot x_{i}))]$

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。