机器学习015_分类问题 / logistic回归（草稿）

一、概要

接下来，要讨论的是当预测值y是一个离散值时的分类问题要开发的logistic回归算法。

• 逻辑回归解决离散问题；
  线性回归解决连续问题。

分类问题有二分类和多分类，我们这里先学习二分类问题。

二、logistic回归算法

对于离散分类问题，使用线性回归显然不是好的方法，由上图，若使用线性回归，那么预测值很可能是>1或者<0的情况。逻辑回归算法则会使得y值介于0~1。

• logistic回归的假设函数h(x)的表示：

如果使用线性回归算法，分类器的输出值h(x)可能范围很广。那么，要使得分类器的输出值介于0~1之间，需要对h(x)进行包装，得到假设函数g(x)，这个g(x)称为逻辑回归函数或者sigmoid函数的输出值介于0
~1。

• 对于假设函数的假设输出的解释：
  
  假设输出，表示在输入特征向量X时，预测输出值y=1的概率。

三、决策边界

可以由图看出，当z>=0时，g(z)>=0.5，即为输出y值为1；反之，输出y值为0。

这里先假设我们已经拟合好了参数theta0~2，就可以得到决策边界x1+x2=3。决策边界是假设函数的属性，它包括参数theta0 ~2。决策边界不是上图给出的可视化的训练集的属性，即使拿掉图上的训练集数据，决策边界也是确定的。