神经网络的优化：损失函数

损失函数

损失函数是用来表示预测值（y：通常由前向传播得到）与答案（y_）的差距。在训练神神经网络是，通过不断的改变神经网络中所有的参数，使损失函数（loss）不断减小，从而训练初更准确的神经网络模型。

常用的损失函数

常用的损失函数有：均方误差、交叉熵和自定义

1）均方误差（MSE）

在tensorflow中：

loss_mse = tf.reduce_mean(tf.square(y-y_))

2）交叉熵

cross_entropy = -tf.reduce_mean(y_ * tf.log(tf.clip_by_value(y,1e-10,1.0)))

其中

y_代表正确结果；y代表预测结果

这一行代码包含了四个运算：

tf.clip_by_value()࿱