Tensorflow深度学习实战之(九)--损失函数

本文是在GPU版本的Tensorflow = 2.6.2 , 英伟达显卡驱动CUDA版本 =11.6，Python版本 = 3.6, 显卡为3060的环境下进行验证实验的！！！

---

一、分类问题损失函数

1.softmax处理分类问题

在神经网络中通过实际计算出的值与真实值之间存在差异，该差异称之为损失函数，它是衡量神经网络学习质量的关键，如果损失函数定义的不正确无论什么样的神经网络结构，最终都将难以训练出正确的网路模型。
对于传统二分类问题，可以设定输出层只有一个节点，设定阈值确定待测预测样本的分类，但是对于多分类问题，通常的做法是设置n个输出节点（n为类别的个数），运用softmax方法的解决多分类问题。
softmax只是神经网络中的一层额外的处理层，将神经网络的输出变成一个概率分布，实质是将输出的原始结果进行归一化操作，假设原始的神经网络输出为y1，y2，…，yn，那么经过softmax回归处理之后的输出为：

2.softmax函数形式

Tensorflow函数提供了对softmax的支持，其函数形式如下：

tf.nn.softmax(logits, name=None)，计算对原始输出层的softmax
tf.nn.log_softmax(logits, name=None)，首先计算原始输出层的softmax，然后对softmax取其对数。

定义一个张量，通过softmax输出属于各个类别的概率。

import tensorflow.compat.v1 as tf
tf.disable_eager_execution()

s = tf.constant([1,1,2,3,4,5,10], dtype=tf.float32)
sm = tf.nn.softmax(s)
with tf.Session() as sess:
 print(sess.run(sm))

输出结果为：

[1.2210199e-04 1.2210199e-04 3.3190762e-04 9.0221845e-04 2.4524841e-03
 6.6665425e-03 9.8940265e-01]

3.交叉熵损失函数

交叉熵刻画的是实际输出概率与输出概率之间的距离，也就是交叉熵的值越小两个概率分布的就越接近其表达式如下：

其中p(x)代表某个样例的正确答案，而q(x)则代表着经过softmax回归之后的预测答案，经过上式的计算即刻得到预测值与真实值之间的交叉熵的值。Tensorflow提供的交叉熵损失函数代码如下：

cross_entropy = -tf.reduce.mean(y_ * tf.log(tf.clip_by_value(y, 1e-10, 1.0)))
其中y_表示正确答案，y表示预测结果。tf.clip_by_value(A, min, max)表示输入一个张量A，把A中的每一个元素的值都压缩在min和max之间。小于min的让它等于min，大于max的元素的值等于max。

计算两个张量之间的交叉熵，并将交叉熵结果输出。

import tensorflow.compat.v1 as tf
tf.disable_eager_execution()

input_data = tf.Variable([[0.2, 0.1, 0.9], [0.3, 0.4, 0.6]], dtype=tf.float32)
labels = tf.constant([[1, 0, 0], [0, 1, 0]], dtype=tf.float32)
cross_entropy = -tf.reduce_mean(labels * tf.log(tf.clip_by_value(input_data, 1e-10, 1.0)))
with tf.Session() as sess:
 init = tf.global_variables_initializer()
 sess.run(init)
 print(sess.run(cross_entropy))

输出结果为：

0.4209548

二、回归问题损失函数

与分类问题不同，回归问题解决的是对具体数值的预测。比如房价预测、销量预测等都是回归问题。这些问题需要预测的不是一个事先定义好的类别，而是一个任意实数，常常使用均方误差损失函数。

其中 yi 为一个batch中的第i个数据的正确答案，而 yi’ 为神经网络给出的预测值，Tensorflow提供的交叉熵损失函数代码如下：

mse = tf.reduce_mean(tf.square(y_ - y))

通过定义两个张量，计算两者之间的均方误差。

import tensorflow.compat.v1 as tf
tf.disable_eager_execution()

a = tf.constant([[4.0, 4.0, 4.0], [3.0, 3.0, 3.0], [1.0, 1.0, 1.0]])
b = tf.constant([[1.0, 1.0, 1.0], [1.0, 1.0, 1.0], [2.0, 2.0, 2.0]])
mse = tf.reduce_mean(tf.square(a - b))
with tf.Session() as sess:
 print(sess.run(mse))

输出结果为：

4.6666665