逻辑回归应用于二分类问题,如果是多分类问题,则需要用softmax
1. Logistic(Logit) Function (i.e. Sigmoid function)
- Input为X在实数区间,Output为Y 在0-1之间(大多数时候,也用h(x)表示output)
- 分类方法:Y = 1的概率 < 0.5,则不属于该类别; Y = 1的概率 > 0.5,则属于该类别
- 构造步骤 (两步法):
1)一个Input为X的线性函数
2)通过一个逻辑函数h(z),即sigmoid函数,将线性函数转换为非线性函数
Sigmoid 曲线
注意:在上图中,Z = W·X + b,这个theta(z)就是h(z)
2. Loss Function
损失函数:
1)损失函数的一个构造原则就是:预测结果Y与真实结果越相近,函数值越小
2)逻辑回归损失函数的核心构造技巧:当真实观测值h(x)=1,但是你预测值y=0时,误差损失无穷大;similarly,当真实观测值h(x)=0,但是你预测值y=1时,误差损失无穷大;所以我们有了初步的设计
3)损失函数就是若干次训练结果与真实观测值的误差,再取平均,因此前面有个系数1/m
4)负号是使得损失函数的值是一个正数
=> 完整的损失函数如下:
说明: y是样本预测值,h(x)是实际观测值
3. 模型训练
- 梯度下降法:训练出合适的权重w,并不断更新w,使得损失函数下降最快
- 损失函数的性质:h’(z) = h(z) * (1 - h(z) )
- 参数w的更新原则: