机器学习笔记（六） 逻辑回归

1.分类

   分类问题很多，比如说是否为垃圾邮件，在线交易是否欺诈等（二分类问题）。

   使用线性回归模型h（θ），会得到连续的预测值，但是我们需要的输出是0和1。所以这里要确定一个阈值。

   h（θ）>0.5，预测y=1； h（θ）<0.5，预测y=0。这种情况下，我们可以很好的完成分类的任务。但是，增加一个特征点到训练集中，会使得回归直线偏移，原本的阈值0.5不再合适，预测值产生偏差（原本预测的恶性肿瘤会变成良性肿瘤）。

   而且线性回归的预测值超过[0,1]的这个区间，并不适合这种类型的问题。所以我们引入逻辑回归预测， 使得0<h（θ）<1。

2.假设表示

   引入函数g，令逻辑函数的假设表示为：

   函数g称为Sigmoid function或者Logistic function。具体表达式为：。图像如下图所示：

   综合上面两个式子，可以得出逻辑回归模型的数学表达式：

   与线性回归不同，hθ（x）的值不是y的预测值，而是概率值。在参数θ下，对于给定的输入变量x，y为1的概率[ P（y=1 l x；θ）]。因此 hθ（x）的区间在0和1之间。

    举个例子，对于给定的x，计算出hθ（x）为0.6，表示有60%的几率，y为正向类，有40%的几率是负向类。

3.决策边界

   在之前的逻辑回归中， h（θ）>0.5时，y=1；相反， h（θ）<0.5时，y=0。

   根据函数g的图像可知，z<0时，g（z）<0.5；z>0时，g（z）>0.5。

   因为z=θTx，所以θT>0时，y=1；θT<0时，y=0。

   我们可以认为θTx=0是一个决策边界，当它大于0或者小于0时，逻辑回归模型分别预测不同的分类结果。

   现在假设有个模型，