[200903] 逻辑回归及交叉熵
通过B站，理解了逻辑回归和交叉熵：
Q: 逻辑回归为什么不可以叫逻辑分类？
A: 用回归的方法（找到不同类别之间的分界线）解决逻辑分类问题（包括二分类和多分类问题）。
基于sigmoid的二分类问题的交叉熵
sigmoid的输出是[0,1]这是一个概率的范围。
对于二分类问题，给定一个数据[x,
y
l
a
b
e
l
y_{label}
ylabel], 预测值为
y
p
r
e
d
y_{pred}
ypred.
当 y l a b e l y_{label} ylabel为0时，损失函数表示为-log(1- y p r e d y_{pred} ypred)，如果 y p r e d y_{pred} ypred为1，则损失函数会接近无穷大。这与目标的最小化损失违背，迫使神经网络重新搜寻更优解。反之，损失函数为0，符合预期。
当 y l a b e l y_{label} ylabel为1时，损失函数表示为-log( y p r e d y_{pred} ypred)，如果 y p r e d y_{pred} ypred为0，则损失函数会接近无穷大。这与目标的最小化损失违背，迫使神经网络重新搜寻更优解。反之，损失函数为0，符合预期。
交叉熵将两者组合起来，得到的形式为：
-
y
l
a
b
e
l
y_{label}
ylabel*log(
y
p
r
e
d
y_{pred}
ypred)-(1-
y
l
a
b
e
l
y_{label}
ylabel)*log(1-
y
p
r
e
d
y_{pred}
ypred)
655
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
