逻辑回归

1. 线性回归和逻辑回归

线性回归模型可用于回归学习，但若要做的是分类任务该怎么办？答案很简单，只需找一个单调可微函数将分类任务的真实标记y与线性回归模型的预测值联系起来，这是最理想的是“单位阶跃函数”。

• 单调阶跃函数

但是，阶跃函数不连续，在数学上不好处理，于是我们希望找到能在一定程度上近似单位阶跃函数的“替代函数”，并希望它单调可微，sigmoid函数就是这样的一个函数。

• 单调阶跃函数与sigmoid函数图像对比

2. 梯度上升法

3. 随机梯度上升法

优点：计算代价不高，易于理解和实现
缺点：容易欠拟合，分类精度可能不高
适用数据类型：数值型和标秤型数据