1. 对数几率回归/逻辑回归/LR
此篇详述见《统计学习方法笔记06:LR逻辑回归模型》。
《西瓜书》讲此节的衔接很好。特此补充。
上节讲到线性回归应用于回归任务。但若要做分类任务咋办?
从广义模型上入手:只需要将回归模型的预测值,映射到分类任务的标记上。
例如:单位阶跃函数。对二分类任务,将模型产生的预测值是实值,转化为0/1值通过下式:
但阶跃函数不可导。一个近似替代函数就是对数几率函数:
这是一个“Sigmoid函数”:形似S形函数。代入有:
将上式变换有:
此篇详述见《统计学习方法笔记06:LR逻辑回归模型》。
《西瓜书》讲此节的衔接很好。特此补充。
上节讲到线性回归应用于回归任务。但若要做分类任务咋办?
从广义模型上入手:只需要将回归模型的预测值,映射到分类任务的标记上。
例如:单位阶跃函数。对二分类任务,将模型产生的预测值是实值,转化为0/1值通过下式:
但阶跃函数不可导。一个近似替代函数就是对数几率函数:
这是一个“Sigmoid函数”:形似S形函数。代入有:
将上式变换有: