- 1.推导LR损失函数
损失函数:
给定一组参数w和b最大自然估计为:
取对数:
变换形式:
即为两个伯努利分布的交叉熵。
LR的损失函数为:
2.学习LR梯度下降
因此 LR 梯度下降:
3.学习LR梯度下降
4.softmax原理
对于多分类问题
5.softmax损失函数
6.softmax梯度下降
损失函数:
给定一组参数w和b最大自然估计为:
取对数:
变换形式:
即为两个伯努利分布的交叉熵。
LR的损失函数为:
2.学习LR梯度下降
因此 LR 梯度下降:
3.学习LR梯度下降
4.softmax原理
对于多分类问题
5.softmax损失函数
6.softmax梯度下降