如何选择损失函数
1.交叉熵 CrossEntropy
交叉熵与熵相对, 如同协方差与方差
熵考察的是单个的信息(分布)的期望:
H(p)=−∑i=1np(xi)logp(xi)
交叉熵考察的是两个信息的(分布)的期望
H(p,q)=−∑i=1np(xi)logq(xi)
2.交叉熵代价函数
LH(x,z)=−∑k=1dxklogzk+(1−xk)log(1−zk)
3.KL散度
KL散度和交叉熵都是衡量两个分布之间的性质,不同的是,交叉熵针对的是原始信号 (xk) 和其重构信号 (zk) ,而KL散度是:
H(ρ||ρ^)=−∑j=1m[ρjlogρ^j+(1−ρj)log(1−ρ^j)]
其中: ρ^=1k∑ki=1hi (遍历的是层内的所有输出, ∑j=1m则是遍历所有的层 )