tensorflow学习笔记：损失函数理论及代码实现

最新推荐文章于 2022-10-20 22:41:14 发布

heart_ace

最新推荐文章于 2022-10-20 22:41:14 发布

阅读量784

点赞数

分类专栏： tensorflow学习笔记文章标签：损失函数 tensorflow 深度学习神经网络

本文链接：https://blog.csdn.net/heart_ace/article/details/102581117

版权

tensorflow学习笔记专栏收录该内容

8 篇文章 0 订阅

订阅专栏

损失函数

损失函数的作用是：用于描述模型预测值与真实值的差距大小，通过真实值与预测值来指导模型的收敛方向。如果损失函数没有使用正确，这是一个非常严重的问题，他会导致最终都难以训练出正确的模型。毕竟我们在做梯度下降的时候需要找到的是最小损失值，求损失值得方法都是错的，再怎么搞都是南辕北辙。可以换一种简单点理解就是，损失函数得到的损失值越小就表示我们的预测值越接近真实值。
既然这么重要，那看看都有那些损失函数吧！

均值平方差（Mean Squared Error ，MSE）

又称为均方误差，数理统计中表示为：参数估计值与参数真实值之差平方的期望值。公式：
$MSE=\frac{1}{n}\sum_{i=1}^{n}(abservde_{i}-predicted_{i})^{2}$
均方误差的值越小，表明模型越好，类似的损失函数还有

均方根误差RMSE，对MSE进行开方操作即可，公式：
$MSE=\sqrt{\frac{1}{n}\sum_{i=1}^{n}(abservde_{i}-predicted_{i})^{2}}$
平均绝对值误差MSD，对一个真实值与预测值之差的绝对值取平均，公式：
$MSE=\frac{1}{n}\sum_{i=1}^{n}|abservde_{i}-predicted_{i}|$

tensorflow中的均值平方差

由于tensorflow中没有直接的代码实现均值平方差的函数，所以我们可以按照公式来写一下。
logits代表标签纸，outputs表示预测值

MSE = tf.reduce_mean(tf.pow(tf.sub(logits,outputs),2.0))
MSE = tf.reduce_mean(tf.square(tf.sub(logits,outputs)))
MSE = tf.reduce_mean(tf.square(logits - outputs))

另外拓展的两个损失函数可以写成：

Rmse = tf.sqrt(tf.reduce_mean(tf.pow(tf.sub(logits,outputs),2.0)))
msd = tf.reduce_mean(tf.complex_abs(tf.sub(logits,outouts)))

交叉熵（crossentropy）

一般用于分类问题，表达的意思是：预测输入样本属于某一类的概率。公式（其中y表示真实值分欸（0或1），a表示预测值）： $-\frac{1}{n}\sum_{x} [ylna+(1-y)ln(1-a)]$
交叉熵也是值越小，代表预测结果越准。

tensorflow中的交叉熵

根据公式自定义的交叉熵实现

cross_entropy = -(input_labels * tf.log(output) + (1 - input_labels) * tf.log(1 - output))
loss = tf.reduce_mean(cross_entropy)
#另一种写法
loss = -tf.reduce_sum(labels*tf.log(logits),1)

tensorflow中给出的激活函数与交叉熵结合的函数：

Sigmoid交叉熵
softmax交叉熵
Sparee交叉熵
加权Sigmoid交叉熵

tf.nn.sigmoid_cross_entropy_with_logits(logits,targets,name-None)#targets表示需要待激活的值
tf.nn.softmax_cross_entropy_with_logits(logits,labels,name-None)#labels与logits的结构需要一致
tf.nn.sparse_softmax_cross_emtropy_with_logits(logits,labels,name=None)#真实值和预测值不需要进行独热编码，但要求分类的个数一定要从0开始
tf.nn.weighted_cross_entropy_with_logits(logits,targets,pos_weight,name-None)#targets表示需要待激活的值,pos_weight为权重