西瓜书——对数几率回归（知识点：极大似然估计）

最新推荐文章于 2022-07-06 16:35:02 发布

风之谷7888548

最新推荐文章于 2022-07-06 16:35:02 发布

阅读量2.6k

点赞数 9

文章标签：机器学习西瓜书逻辑回归极大似然度估计

本文链接：https://blog.csdn.net/baidu_38356450/article/details/103419105

版权

本文详细介绍了对数几率回归在二分类问题中的应用，首先阐述了对数几率回归的广义线性模型推导，明确了伯努利分布和指数族分布的关系。接着通过极大似然估计方法，逐步解析了如何建立和优化模型，最终得到损失函数，并提及使用梯度下降或牛顿法进行参数求解。

摘要由CSDN通过智能技术生成

对数几率回归是二分类的问题，我们可以将随机变量 $y$ 假设服从伯努利分布，即 $y$ 的取值只有{0,1}。
这里需要补充一个概念，指数族分布，伯努利分布就属于指数族分布。在这里插入图片描述
（注： $\phi$ 指的是 $y$ 取1是的概率）
我们都明白对数几率回归是从线性回归衍生而来的，所以我们下一步就是进行对数几率回归模型的推导。

1、对数几率回归的广义线性模型推导

对于广义线性模型，有三条假设。在这里插入图片描述
符合这三条假设的模型便是广义线性模型了。
对于假设一，我们的随机变量符合伯努利分布所以成立。
对于假设二，我们设：
$h (x) = E (T (y))$ ，又因为伯努利分布中 $T (y) = y$
所以 $h(x)=E(y)=1\cdot p(y=1)+0 \cdot p(y=0)=\phi$
对于假设三，因为 $\eta=\ln(\frac{\phi}{1-\phi})$ ，所以我们可以得到 $\phi=\frac{1}{1+e^{-\eta}}$
因为 $\eta=w^Tx$ ，所以 $h(x)=\phi=\frac{1}{1+e^{-\eta}}=\frac{1}{1+e^{-w^Tx}}=p(y=1|x)$