从 0 开始机器学习 - 逻辑回归原理与实战！

之前的文章学习了线性回归，这次来跟大家分享下我对逻辑回归的一些理解。

一、什么是分类问题？

这个其实很好理解，就比如你手里有一个苹果和一个橘子，我们的分类问题就是可以描述为如何写一个算法让计算机认出哪个是苹果，哪个是橘子。

分类问题的输出是不连续的离散值，比如设定程序输出 1 表示苹果，0 表示橘子。但我们之前学习的线性回归的输出是连续的，如预测房价，肯定不能用 0 和 1 来表示房价。

所以记住一点：分类问题输出离散值，线性回归问题输出连续值。

二、什么是逻辑回归？

今天要学习的这个逻辑回归是属于分类问题，你可能对「逻辑回归」有疑惑，既然是分类问题，为何要说成回归问题？干吗不叫逻辑分类问题？

我也觉得有点别扭，可谁让大师比我们早生出来呢？如果我们早点出生，发明这个算法，或许就命名为逻辑分类了，哈哈。

既然改变不了，我们就只能接受了，把他当成分类问题记住即可。

三、逻辑回归的假设函数

还记得之前线性回归的假设函数吗，就是预测的模型，我们用的是多项式，但在分类问题中我们就要换模型了，为啥？

很简单，我们从分类问题和线性回归问题的定义可以知道，线性回归问题输出连续值（房价），逻辑回归只输出离散值（0 1），所以模型的输出不一样，因此需要选择一个能输出离散值的函数 $g$：

$$h_{\theta }(x)=g({\theta }^{T}X)$$

其中 $X$ 表示特征向量，${\theta }^T$ 表示待学习的参数向量。

但在机器学习分类问题中，模型输出 0 或者 1 的前一步通常是确定 0 或者 1 的概率，而不是直接根据实例数据就输出 0 或 1，比如模型预测是苹果的概率是 90%，那是橘子的概率就是 10%（因为概率和为 1），进而模型认为该水果是苹果的可能性最大，所以输出 1 来表示当前识别的水果是苹果。

根据这个概率特性，我们的逻辑回归假设函数取一个常用的逻辑函数 Sigmoid Function：

$$g(z)=\frac{1}{1+e^{-z}}$$

import numpy as np

def sigmoid(z):
    return 1 / (1 + np.exp(-z))

使用这个函数来做为逻辑回归的假设函数，这样就能根据输入参数 $z$ 来输出 $y=1$ 的可能性了，比如输出 $h_{\theta }(x)=0.9$，就表示有 90% 的概率是苹果，有 10% 的概率是橘子。

四、逻辑回归的分类边界

在分类问题中存在分类（决策）边界（Decision Boundary）的概念，因为我们最终是要将数据用函数分类，体现在坐标系中就是函数曲线把数据分为 2 类，比如一类是苹果，一类是橘子。

理解分类边界的目的就是为了理解逻辑回归的假设函数是如何工作的。下面通过一个小例子说明下分类边界是如何得出的，其实也容易理解。

我们假设：

• $h_{\theta }(x)>=0.5$ 时，预测 $y=1$，苹果
• $h_{\theta }(x)<0.5$ 时，预测