吴恩达机器学习笔记三之逻辑回归

本节目录：

1. 分类问题
2. 假说表示
3. 判定边界
4. 代价函数
5. 高级优化
6. 多类别分类

1.分类问题
在分类问题中，我们尝试预测的是结果是否属于某一个类（例如正确或错误）。分类问
题的例子有：判断一封电子邮件是否是垃圾邮件；判断一次金融交易是否是欺诈。


如果我们要用线性回归算法来解决一个分类问题，对于分类， 𝑦 取值为 0 或者 1，但
如果你使用的是线性回归，那么假设函数的输出值可能远大于 1，或者远小于 0，即使所有
训练样本的标签 𝑦 都等于 0 或 1。尽管我们知道标签应该取值 0 或者 1，但是如果算法
得到的值远大于 1 或者远小于 0 的话，就会感觉很奇怪。
逻辑回归算法是分类算法，这个算法的性质是：它的输出值永远在 0 到 1 之间。适用于标签y取值离散的情况。
2.假说表示
逻辑回归模型的假设是

其中X代表特征向量，g代表逻辑函数，它是一个常用s形的逻辑函数
公式为：


ℎ𝜃(𝑥)的作用是，对于给定的输入变量，根据选择的参数计算输出变量=1 的可能性
（estimated probablity）即ℎ𝜃(𝑥) = 𝑃(𝑦 = 1|𝑥; 𝜃)
3 判定边界



4 代价函数
用来拟合参数的优化目标。
线性回归模型：

对于线性回归模型，我们定义的代价函数是所有模型误差的平方和。理论上来说，我们
也可以对逻辑回归模型沿用这个定义，但是问题在于，当我们将ℎ𝜃(𝑥) = 1 1+𝑒−𝜃𝑇𝑋
带入到这样
定义了的代价函数中时，我们得到的代价函数将是一个非凸函数（non-convexfunction）。

这意味着我们的代价函数有许多局部最小值，这将影响梯度下降算法寻找全局最小值。


下面就可以使用梯度下降算法求得使代价函数最小的参数了。

5 高级优化
我们有个代价函数𝐽(𝜃)，而我们想要使其最小化，那么我们需要做的是编写代码，当输入参
数 𝜃 时，它们会计算出两样东西：𝐽(𝜃) 以及𝐽 等于 0、1 直到 𝑛 时的偏导数项。

假设我们已经完成了可以实现这两件事的代码，那么梯度下降所做的就是反复执行这些
更新。
另一种考虑梯度下降的思路是：我们需要写出代码来计算𝐽(𝜃) 和这些偏导数，然后把
这些插入到梯度下降中，然后它就可以为我们最小化这个函数。
6 多类别分类
使用逻辑回归解决多类别分类问题，即 “一对多” 的分类算法。
对于一个多类分类问题，我们的数据集或许看起来像这样

我用 3 种不同的符号来代表 3 个类别，，问题就是给出 3 个类型的数据集，我们如何得到
一个学习算法来进行分类呢？
在我们有一个训练集，好比上图表示的有 3 个类别，我们用三角形表示 𝑦 = 1，方框
表示𝑦 = 2，叉叉表示 𝑦 = 3。我们下面要做的就是使用一个训练集，将其分成 3 个二元分
类问题。
先从用三角形代表的类别 1 开始，实际上我们可以创建一个，新的"伪"训练集，类
型 2 和类型 3 定为负类，类型 1 设定为正类，我们创建一个新的训练集，如下图所示的那
样，我们要拟合出一个合适的分类器。

这里的三角形是正样本，而圆形代表负样本。可以这样想，设置三角形的值为 1，圆形
的值为 0，下面我们来训练一个标准的逻辑回归分类器，这样我们就得到一个正边界。
为了能实现这样的转变，我们将多个类中的一个类标记为正向类（𝑦 = 1），然后将其
他所有类都标记为负向类，这个模型记作ℎ𝜃(1)(𝑥)。接着，类似地第我们选择另一个类标记为
正向类（𝑦 = 2），再将其它类都标记为负向类，将这个模型记作 ℎ𝜃(2)(𝑥),依此类推。
最后我们得到一系列的模型简记为： ℎ𝜃(𝑖)(𝑥) = 𝑝(𝑦 = 𝑖|𝑥; 𝜃)其中：𝑖 = (1,2,3. . . . 𝑘)

最后，在我们需要做预测时，我们将所有的分类机都运行一遍，然后对每一个输入变量，
都选择最高可能性的输出变量。