Logistic回归算法讲解

       回归：假设有一些数据点，我们用一条直线对这些点进行拟合（该线称为最佳拟合直线），这个拟合过程就称作回归。

       Logistic回归进行分类是根据现有数据对分类边界线建立回归公式（找最佳拟合），以此进行分类。这里的回归表示要找到最佳拟合参数集，多元函数的参数集合，非线性回归。

       Logistic回归训练分类器时的做法就是寻找最佳拟合参数，使用的是最优化算法。不同于之前的分类算法为寻找最优只是调整参数大小，这里用到了寻找最优的算法。

知识回顾：

1.导数是针对一元函数求导，几何意义是（在某点的）切线斜率。

2.偏导数是针对多元函数，求沿某一个坐标轴正方向（一元方向）的变化率。

3.梯度也是针对多元函数，是所有方向上的偏导数组成的向量，其几何意义是在曲面上的某一点增加（减少）最快的方向，可沿该方向（不断更新）求函数的最大值（最小值）。

4.方向导数与梯度不同，是沿着某个方向（多元方向）的变化率。

（一）基于Logistic回归和Sigmoid函