如何选择 损失函数 Loss Function

如何选择损失函数

1.交叉熵 CrossEntropy

交叉熵与熵相对， 如同协方差与方差

熵考察的是单个的信息（分布）的期望：

$$H(p) = - \sum_{i=1}^n p(x_i) \log p(x_i)$$

交叉熵考察的是两个信息的（分布）的期望

$$H(p,q) = -\sum_{i=1}^n p(x_i) \log q(x_i)$$

2.交叉熵代价函数

$$L_H(\textbf x, \textbf z) = -\sum_{k=1}^d x_k \log z_k + (1-x_k) \log (1-z_k)$$

3.KL散度

KL散度和交叉熵都是衡量两个分布之间的性质，不同的是，交叉熵针对的是原始信号$(x_k)$和其重构信号$(z_k)$，而KL散度是：

$$H(\rho || \hat \rho) = - \sum_{j=1}^m \Big[\rho_j \log \hat\rho_j + (1-\rho_j) \log (1-\hat\rho_j)\Big]$$

其中： $\hat\rho = \frac{1}{k} \sum_{i=1}^k h_i$ (遍历的是层内的所有输出，$\sum \limits_{j=1}^m则是遍历所有的层$)