tenforflow经典损失函数总结

1 什么是损失函数？

用来刻画实际值与期望值之间距离的函数，函数返回值越大代表期望值与实际值差距越大，预测效果越差

2 常用损失函数有哪些？

A 分类问题-交叉熵损失函数

交叉熵，刻画了期望概率分布与实际概率分布的距离,换句话说，通过概率分布q来表示p的困难程度，值越小，概率分布越接近

给定概率分布p和q，用q来表示p的交叉熵为

由于原始神经网络输出层输出为数值，因此交叉熵损失函数通常配合softmax回归函数使用，softmax函数将输出变成概率分布，

例如：二分类问题输出为0或者1，输出为0时，可表示为[1,0](1代表分类为0的概率为1)，输出为1时，可表示为[0,1](1代表分类为1的概率1)

tensorflow中可用如下函数实现上述两大功能：

cross_entropy = tf.nn.soft_cross_entropy_with_logits(labels=y_,logits=y)(labels-实际分布，logits-神经网络输出结果分布)

B 回归问题-MSE均方误差损失函数

回归问题就是预测问题，神经网络输出值只有一个预测值，MSE计算方式为：

tensorflow实现方式为：

mse = tf.reduce_mean(tf.square(y_ - y))