1. 线性回归和逻辑回归
线性回归模型可用于回归学习,但若要做的是分类任务该怎么办?答案很简单,只需找一个单调可微函数将分类任务的真实标记y与线性回归模型的预测值联系起来,这是最理想的是“单位阶跃函数”。
但是,阶跃函数不连续,在数学上不好处理,于是我们希望找到能在一定程度上近似单位阶跃函数的“替代函数”,并希望它单调可微,sigmoid函数就是这样的一个函数。
2. 梯度上升法
3. 随机梯度上升法
优点:计算代价不高,易于理解和实现
缺点:容易欠拟合,分类精度可能不高
适用数据类型:数值型和标秤型数据