机器学习——逻辑回归

逻辑回归介绍

逻辑回归用来解决分类的问题，和线性回归的对值的预测不同，逻辑回归重点预测的是类别的分配。比如：

逻辑回归有一个专门的代价函数，

θT可以理解为一个线性回归函数，下面是这个代价函数的图像，x取无穷大的时候趋近于1，取无穷小的时候，趋近于0.


决策边界
分类问题一个重要的点就是找到决策边界，然后才能进行分类，如下图：

经过3,3这个点的线可以视为决策边界，把样本分为两类，这条线的表示为h0（x）。在决策边界上的点等于0；红色的样本数据代入公式后得到大于0的数，归为y=1这类；蓝色的样本数据代入公式后得到小于0的数，归为y=0这类。不同的样本，h0（x）会有不同的复杂度，但是原理都是一样的。


代价函数
逻辑回归的代价函数是这样定义的，

有两种情况，也可以写为一种，和深度学习里的交叉熵是一样的；

这两种情况有这种不同的对应图像：

y=1时，预测值如果接近于1，代价函数接近于0，拟合最好，反之亦然。

y=0时，预测值如果接近于0，代价函数接近于0，拟合最好，反之亦然。

梯度下降法求导
逻辑回归的代价函数是用梯度下降法进行求导的，具体推导过程如下：

逻辑回归和线性回归一样也是有正则化的，下面以L2正则化为例子：

正确率、召回率、F1指标
正确率、召回率、F1指标是评判逻辑回归分类结果好坏的重要依据，下面简单介绍一下。

下面举个例子：


可以看到，正确率和召回率是有点矛盾的，不同的情况有不同的需求。比如当你百度的时候，你希望看到最合适的结果，那么就返回就合适的一个答案，那正确率就几乎是100%，但是召回率就很低，如果希望看到多个结果，那么就返回多个答案，这样召回率就很高，而正确率降低。

很多时候我们两者都要考虑到，也就是F1指标。

以上就是逻辑回归的简单介绍。