吴恩达 机器学习 第二部分 第1章 学习笔记

说明：本文为本人学习本课程的笔记，课程链接为

【(强推|双字)2022吴恩达机器学习Deeplearning.ai课程】

https://www.bilibili.com/video/BV1Pa411X76sp=8&vd_source=1a7101e2cd4837c57a0824d2cc5a5e56

​

如需要更深层次地掌握知识，请自行学习视频课程。

第一章 逻辑回归概要

Logistic Regression 虽然被称为回归，但其实际上是分类模型，并常用于二分类。Logistic Regression 因其简单、可并行化、可解释强深受工业界喜爱。

Logistic 回归的本质是：假设数据服从这个分布，然后使用极大似然估计做参数的估计。

---

【机器学习】逻辑回归（非常详细） - 知乎 (zhihu.com)

 1.1 逻辑回归 

 接下来研究二分类问题。我们将只有两个输出的分类模型称为二分类模型，两个输出分别用0和1表示(输出可以为Y/N，T/F等)。

因变量(dependent variable)可能属于的两个类分别称为负向类（negative class）和正向类（positive class），则因变量 y∈(0,1) ，其中 0 表示负向类，1 表示正向类。

---

吴恩达老师机器学习课程笔记-第三周 - 知乎 (zhihu.com)

 如图，当采用线性回归方式解决二分类问题时，容易得到与区间(0,1)相去甚远的结果。我们固然能够将得到的值通过某种规则分类为0或1，但这种方式并不符合直觉。下面考虑一种算法，能够让模型所有的输出值y都介于0和1之间，且能够较容易地区分该值会被归类于哪一类别，我们将这种算法称为逻辑回归算法。

值得一提的是，逻辑回归算法的名称中虽然有“回归二字”，但是其是分类算法，我们将它作为分类算法使用。

1.2 逻辑函数

为让模型所有的输出值y都介于0和1之间，且能够较容易地区分该值会被归类于哪一类别，我们引入逻辑函数对典型数据进行拟合，如左图:

能够看出，逻辑函数的值域是(0,1)，且在大部分区域值均接近0或1，在中间部分变化率较大，较为符合模型要求。

如图，对于中间区域的输入，能够给出一个明确的输出，而当输入值较大或者较小的时候，逻辑函数的值非常接近0或1，这对我们的分类有较大帮助。逻辑函数的图像如右图所示。

 如图，记，则逻辑函数满足

利用上述公式对变量进行回归分析，称为逻辑回归。

逻辑回归的结果是一个介于0与1之间的实数 ，其中x是自变量， 不是最终的结果，而是输出了一个“可能性”。

 表示最终输出结果y有70%概率为1，自然地，也就是有30%概率为0。

接下来，考虑 y=0 和 y=1 的分界点。

 1.3 判定边界

如图，对于逻辑回归函数，一般将判定边界取在 z=0 表示的界限上。

当 z=0 时，f=0.5。因此，当f >0.5 时，取 y=1 ；当 f <0.5 时，取 y=0。

 对于如图所示的二元函数，假设其逻辑回归方程为：

    其中，

则 z = 0 曲线为

在曲线左下侧的点，对应的 y = 0，右上侧的点，对应的 y = 1。

考虑非线性分布对应的逻辑回归。

如图， 对于如图所示的二元函数，假设其逻辑回归方程为：

    其中，

则 z = 0 曲线为

此时的判定边界为一个圆，圆内部的点，对应的 y = 0，外部的点，对应的 y = 1。

 非线性分布对应的逻辑回归还有很多形式，应该根据实际情况来决定怎样的模型来进行判定。但无论是何等模型，通过逻辑回归分析，都能够对输入量进行分类，输出y=0或y=1。