机器学习之监督学习-分类模型逻辑斯蒂回归

机器学习之监督学习-分类模型逻辑斯蒂回归

逻辑斯蒂回归就是用回归的方式找到分类曲线，进行分类，通过一条曲线，拟合分类边界。

我们先了解一下sigmod函数，也叫做压缩函数。
我们看一下a^x的函数图像，如果x小于0，则函数单调递减，如果x大于0，则函数单调递增，且函数过点(0,1)。

我们再看一下压缩函数的图像，该函数明显在负无穷到正无穷单调递增，在负无穷时候趋近于0，在正无穷的时候趋近于1，其实可以用大于0.5和小于0.5实现两类划分。

如下图所示，模型h(x),系数取值得到分类函数，令分类函数等于0，通过分类函数画出的拟合线就是分类边界，在边界上方的值大于0，也就是z大于0，就是g(z)>0.5的类别，反之，边界下方的值小于0，也就是z小于0，就是g(z)<0.5的类别。

我们再看一下下面一个模型，通过拟合一个圆形，实现分类任务，当圆形里面的点带入分类曲线小于0，则z<0,属于g(z)<0.5类别，反之，圆形外面的点带入分类曲线大于0，即z>0,属于g(z)>0.5的类别。

我们再看一下损失函数公式和图像，我们发现我们如果是分类y=1，若预测的sigmod函数大于0.5，则分类正确，sigmod函数越是接近于1，则损失函数越小，误差越小；反之，若是分类y=0，则预测函数sigmod小于0.5，则分类正确，越接近于0，则损失函数越小，误差越小。

我们看看下面三个公式，第一个是损失函数的公式，第二个是另一种形式的损失函数的公式，就是某点处损失函数的公式，比如当第二个公式y取1时候或者取0的时候就得到了第一个公式，第三个公式是对所有点的损失函数求和取平均。

得到损失函数后，为了防止过拟合，我们需要加入正则化项，然后二次项起主导作用，我们就得到了一个凸函数。我们就可以求出损失函数的最小值，然后求参数，进而进行预测。