机器学习（七）：逻辑（logistic）回归及决策边界

一、分类算法Classification

二进制分类binary classification：输出结果target中，只有两种可能，如yes/no、true/false、1/0

二、逻辑回归

二进制分类可以使用逻辑回归模型来预测

逻辑回归公式：

  ，

其中，符号e是自然常数，其值约为2.718281828459045。无论z等于多少，g(z)一定在0到1范围。

下图是逻辑回归公式的曲线图：

z可以用其他模型替代，比如用线性回归模型替换z：

              

              

二进制分类的输出结果y只会是0或1，的值在0到1范围，因此可以理解为y=1的概率。比如：=0.7，则预测y=1的概率为0.7，y=0的概率为0.3

三、决策边界

决策边界是两个分类的边界线，决策边界的一侧全是0，决策边界的另一侧全是1。

当z=0时，相应的曲线为决策边界。

以线性回归为例，下图中有两个特征和，一个区域都是蓝圈，一个区域都是红叉。

       设置，选择=1，=1，b=-3。则z=+-3=0，+=3为决策边界，在下图中绿线展示。

       决策边界除了直线外，还可以是其他曲线，如下图所示，可以设置z为多项式回归，

        ，令=1，=1，b=-1，，决策边界就是，如下图绿圈所示。

学习来源：B站吴恩达机器学习：P31-P33 7.1-7.3节