最新回归算法理解、实现及应用（2）logistic回归

1.该算法的主要思想是：根据现有数据对分类边界线建立回归公式，以此分类（二值分类、也称概率分类）。这里的回归指的最佳拟合，表示要找到最佳的参数集，训练的过程就是寻找最佳参数的过程。

---

2.logistic回归算法（适用数值型和标称型数据）

优点：计算代价不高，容易理解和计算。

缺点：欠拟合，分类精度可能不高。

---

3.激活函数sigmoid函数是一种阶跃函数，输出范围在[0,1],在回归问题中，我们需要找到最佳的回归系数，需要用到最优化算法：如梯度上升（求最大值）或是梯度下降（求最小值），求梯度要求在定义的点上有定义且可微，在梯度迭代过程中总能使我们找到最佳的路径。

梯度下降算法 $$w=w-\alpha \bigtriangledown f(w)$$

梯度上升算法

w=w+α▽f(w)