逻辑回归预学习

1.分类问题:

在分类问题中，我们尝试预测的是结果是否属于某一个类（例如正确或错误）。分类问题的例子有：判断一封电子邮件是否是垃圾邮件；判断一次金融交易是否是欺诈等等。我们从二元的分类问题开始讨论。我们将因变量可能属于的两个类分别称为负向类变量其中0表示负向类，1表示正向类。

2假说表示:

我们可以用线性回归的方法求出适合数据的一条直线：

根据线性回归模型我们只能预测连续的值，然而对于分类问题，我们需要输出0或1，我们可以预测：当hθ大于等于0.5时，预测y=1当hθ小于0.5时，预测y=0对于上图所示的数据，这样的一个线性模型似乎能很好地完成分类任务。假使我们又观测到一个非常大尺寸的恶性肿瘤，将其作为实例加入到我们的训练集中来，这将使得我们获得一条新的直线。 

 

这时，再使用0.5作为阀值来预测肿瘤是良性还是恶性便不合适了。可以看出，线性回归模型，因为其预测的值可以超越[0,1]的范围，并不适合解决这样的问题。我们引入一个新的模型，逻辑回归，该模型的输出变量范围始终在0和1之间。逻辑回归模型的假设是：hθ(x)=g(θTX)其中：X代表特征向量g代表逻辑函数是一个常用的逻辑函数为S形函数， 公式为：

该函数的图像为： 

合起来，我们得到逻辑回归模型的假设：对模型的理解： 

hθ(x)的作用是，对于给定的输入变量，根据选择的参数计算输出变量=1的可能性即 :

例如，如果对于给定的x，通过已经确定的参数计算得出hθ(x)=0.7，则表示有70%的几率y为正向类，相应地y为负向类的几率为1-0.7=0.3。 

3判定边界:

在逻辑回归中，我们预测：当hθ大于等于0.5时，预测y=1当hθ小于0.5时，预测y=0根据上面绘制出的S形函数图像，我们知道当z=0时g(z)=0.5z>0时g(z)>0.5z<0时g(z)<0.5又z=θTX，即：θTX大于等于0时，预测y=1θTX小于0时，预测y=0现在假设我们有一个模型

并且参数θ是向量[-3 11]。则当-3+x1+x2大于等于0，即x1+x2大于等于3时，模型将预测y=1。我们可以绘制直线x1+x2=3，这条线便是我们模型的分界线，将预测为1的区域和预测为0的区域分隔开。 

假使我们的数据呈现这样的分布情况，怎样的模型才能适合呢？

因为需要用曲线才能分隔y=0的区域和y=1的区域，我们需要二次方特征：假设参数：是[-1 0 0 1 1]，则我们得到的判定边界恰好是圆点在原点且半径为1的圆形。我们可以用非常复杂的模型来适应非常复杂形状的判定边界。

是[-1 0 0 1 1]，则我们得到的判定边界恰好是圆点在原点且半径为1的圆形。我们可以用非常复杂的模型来适应非常复杂形状的判定边界。