逻辑回归
线性回归用于逼近，逻辑回归则用于分类
softmax，
s
o
f
t
m
a
x
(
x
)
i
j
=
e
x
p
(
x
i
j
)
∑
k
e
x
p
(
x
i
k
)
softmax(x)_{ij}=\frac{exp(x_{ij})}{\sum_k{exp(x_{ik})}}
softmax(x)ij=∑kexp(xik)exp(xij)
这样是为了让所有的输出和为1.所有输出为正数，并且均不超过1.
损失函数
用最大似然函数估计损失。把输入与输出视为某种概率，训练集中输入与输出形成的概率相乘。
P
(
Y
∣
X
)
=
∏
i
=
1
n
P
(
y
i
∣
x
i
)
P(Y|X)=\prod_{i=1}^nP(y^i|x^i)
P(Y∣X)=i=1∏nP(yi∣xi)
交叉熵
l
(
y
,
y
^
)
=
−
∑
i
=
1
q
y
j
l
o
g
(
y
^
j
)
l(y, \hat y)=-\sum_{i=1}^q y_j log(\hat y_j)
l(y,y^)=−i=1∑qyjlog(y^j)
5292
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
