逻辑回归及其公式推导

最新推荐文章于 2023-05-29 14:41:30 发布

allan2222

最新推荐文章于 2023-05-29 14:41:30 发布

阅读量3k

点赞数 1

分类专栏：机器学习

本文链接：https://blog.csdn.net/allan2222/article/details/106074895

版权

机器学习专栏收录该内容

2 篇文章 0 订阅

订阅专栏

一、什么是逻辑回归（Logistic Regression）

逻辑回归是一种用于解决二分类问题的机器学习方法，简单来说就是用来表示某件事发生的可能性。

比如：你患有糖尿病的可能性；

你点击某个广告的可能性。

二、逻辑回归vs线性回归

	类型	变量	是否符合线性关系	假设	应用
逻辑回归	分类	连续	符合	服从伯努利分布	判断西瓜是否为好瓜
线性回归	回归	离散	可以不符合	服从高斯分布	银行预测某人的信用分数

线性回归简单来说是描述了最佳一条拟合输入变量和输出变量的之间关系直线，逻辑回归在线性回归的基础上加了Sigmoid映射函数，引入了非线性因素，可以处理0/1分类问题。

三、逻辑回归的推导

1、sigmoid函数

$g\left ( z \right )= \frac{1}{1+e^{-z}}$

假设函数 $h_{\theta }\left ( x \right )= g\left ( \theta ^{T}x \right )$ ，所以 $h_{\theta }\left ( x \right )= \frac{1}{1+e^{-\theta ^{T}x}}$

其中为输入， $\theta$ 为要求解的参数， $\theta ^{^{T}}x= \theta +\theta _{1}x_{1}+\theta _{2}x_{2}+\cdots +\theta _{n}x_{n}= \sum_{i= 1}^{n}\theta _{i}x_{i}$

2、损失函数

在LR函数中，我们使用最大似然方式来求解模型的参数，用训练得到的值去拟合真实值。

LR的目标函数为 $P\left ( y=1|x;\theta \right )= h_{\theta }\left ( x \right )$

$P\left ( y=0|x;\theta \right )= 1-h_{\theta }\left ( x \right )$

在已知x的条件下输出y=1的概率h，则y=0的概率等于1-h

因此似然函数可以表示为 $L\left ( \theta \right )= \prod_{i=1}^{m}P\left ( y_{i}|x_{i};\theta \right )=\prod_{i=1}^{m}\left ( h_{\theta } \right\left ( x \right ) )^{y_{i}}\left ( 1-h_{\theta } \right\left ( x \right ) )^{1-y_{i}}$

$l\left ( \theta \right )=logL\left ( \theta \right )=\sum_{i=1}^{m}\left ( y_{i}logh_{\theta}\left (x_{i} \right ) +\left ( 1-y_{i} \right )log\left ( 1-h_{\theta}\left (x_{i} \right ) \right )\right )$

用梯度上升求最大值，可转换为梯度下降任务，通过 $J\left ( \theta \right )= -\frac{1}{m}l\left ( \theta \right )$ ,具体推导过程如下图所示

四、总结

1、LR的两个假设：假设因变量y服从伯努利分布；假设函数 $h_{\theta }\left ( x \right )= \frac{1}{1+e^{-\theta ^{T}x}}$

2、LR损失函数：极大似然估计（给定观察数据来评估模型参数的方法）

3、LR为何用极大似然估计作为损失函数：由图片中的公式可知，梯度更新过程只和 $h_{\theta}\left (x_{i} \right )$ 和 $y_{i}$ ，和sogmoid函数本身梯度无关，求解参数速度较快

4、LR求解方法：梯度下降（小批量梯度下降）

5：LR目的：用回归思想求解分类问题，y是连续变量，设置阈值实现分类

allan2222

关注

1
点赞
踩
4

收藏

觉得还不错? 一键收藏
0
评论
逻辑回归及其公式推导

一、什么是逻辑回归逻辑回归是一种用于解决二分类问题的机器学习方法，简单来说就是用来表示某件事发生的可能性。比如：你患有糖尿病的可能性；你点击某个广告的可能性。二、逻辑回归vs线性回归类型变量是否符合线性关系应用逻辑回归分类连续符合判断习惯是否为好瓜线性回归回归离散可以不符合银行预测某人的信用分数线性回归简单来说是描述了最佳一条拟合输入变量和输出变量的之...
复制链接

扫一扫