说明:本文为本人学习本课程的笔记,课程链接为
【(强推|双字)2022吴恩达机器学习Deeplearning.ai课程】
https://www.bilibili.com/video/BV1Pa411X76sp=8&vd_source=1a7101e2cd4837c57a0824d2cc5a5e56
如需要更深层次地掌握知识,请自行学习视频课程。
第一章 逻辑回归概要
Logistic Regression 虽然被称为回归,但其实际上是分类模型,并常用于二分类。Logistic Regression 因其简单、可并行化、可解释强深受工业界喜爱。
Logistic 回归的本质是:假设数据服从这个分布,然后使用极大似然估计做参数的估计。
1.1 逻辑回归
接下来研究二分类问题。我们将只有两个输出的分类模型称为二分类模型,两个输出分别用0和1表示(输出可以为Y/N,T/F等)。
因变量(dependent variable)可能属于的两个类分别称为负向类(negative class)和正向类(positive class),则因变量 y∈(0,1) ,其中 0 表示负向类,1 表示正向类。
如图,当采用线性回归方式解决二分类问题时,容易得到与区间(0,1)相去甚远的结果。我们固然能够将得到的值通过某种规则分类为0或1,但这种方式并不符合直觉。下面考虑一种算法,能够让模型所有的输出值y都介于0和1之间,且能够较容易地区分该值会被归类于哪一类别,我们将这种算法称为逻辑回归算法。
值得一提的是,逻辑回归算法的名称中虽然有“回归二字”,但是其是分类算法,我们将它作为分类算法使用。
1.2 逻辑函数
为让模型所有的输出值y都介于0和1之间,且能够较容易地区分该值会被归类于哪一类别,我们引入逻辑函数对典型数据进行拟合,如左图:
能够看出,逻辑函数的值域是(0,1),且在大部分区域值均接近0或1,在中间部分变化率较大,较为符合模型要求。
如图,对于中间区域的输入,能够给出一个明确的输出,而当输入值较大或者较小的时候,逻辑函数的值非常接近0或1,这对我们的分类有较大帮助。逻辑函数的图像如右图所示。
如图,记,则逻辑函数满足
利用上述公式对变量进行回归分析,称为逻辑回归。
逻辑回归的结果是一个介于0与1之间的实数 ,其中x是自变量, 不是最终的结果,而是输出了一个“可能性”。
表示最终输出结果y有70%概率为1,自然地,也就是有30%概率为0。
接下来,考虑 y=0 和 y=1 的分界点。
1.3 判定边界
如图,对于逻辑回归函数,一般将判定边界取在 z=0 表示的界限上。
当 z=0 时,f=0.5。因此,当f >0.5 时,取 y=1 ;当 f <0.5 时,取 y=0。
对于如图所示的二元函数,假设其逻辑回归方程为:
其中,
则 z = 0 曲线为
在曲线左下侧的点,对应的 y = 0,右上侧的点,对应的 y = 1。
考虑非线性分布对应的逻辑回归。
如图, 对于如图所示的二元函数,假设其逻辑回归方程为:
其中,
则 z = 0 曲线为
此时的判定边界为一个圆,圆内部的点,对应的 y = 0,外部的点,对应的 y = 1。
非线性分布对应的逻辑回归还有很多形式,应该根据实际情况来决定怎样的模型来进行判定。但无论是何等模型,通过逻辑回归分析,都能够对输入量进行分类,输出y=0或y=1。