机器学习：逻辑回归（决策边界）

一、基础理解

• 决策边界：在特征空间内，根据不同特征对样本进行分类，不同类型间的分界就是模型针对该数据集的决策边界。

• 决策边界，用于分类问题中，通过决策边界可以更好的可视化分类结果；

• 在二维特征空间中，决策边界为一条直线，理论上，在该直线上 θ.T.x = 0，但实际上不一定存在这样的样本点；

• 通过决策边界可以直接根据样本在特征空间的位置对该样本的类型进行预测；

• 满足决策边界条件的样本点，分为哪一类都可以，但实际应用中很少发生；

• 作用：得到一个模型后，可以直接绘制该模型的决策边界，然后再绘制出需要预测的样本点，根据样本点相对于特征空间中的决策边界的分布，直接预测样本的类型；

1. 通过决策边界可以直接根据样本在特征空间的位置对该样本的类型进行预测；

• 决策：根据样本发生概率 p 的值，到底将该样本分为哪一类？
• 边界：
• 1）函数 σ(t) 的特点，t > 0 时σ(t) > 0.5（也就是 P > 0.5）；t < 0 时σ(t) < 0.5（也就是 P < 0.5）；　
•   　 　
• 2）也就是 ý 的最终预测结果，由 θ^T.x_b 决定，决定的边界条件就是 θ^T.x_b = 0；
• 

 

 

二、两种特征的数据集的决策边界（限线性回归、逻辑回归）

• 二维特征空间中，决策边界是一条理论上的直线，该直线是有线性模型的系数和截距决定的，并不一定有样本满足此条件；

• 如果样本只有两个特征，决策边界可以表示为：
• θ^T.x_b = θ₀ + θ₁.x₁ + θ₂.x₂ = 0，则该边界是一条直线，因为分类问题中特征空间的坐标轴都表示特征；

1. 则有：；

 

　1）在二维特征空间中绘制决策边界

• 模拟数据集并绘制

  import numpy as np
  import matplotlib.pyplot as plt
  from sklearn import datasets
  
  iris = datasets.load_iris()
  
  X