玩转TensorFlow深度学习之损失函数

• 前言

分类同题和同归问题是监督学习的两大类。为了训练解决分类问题或回归问题的模型，我们通常会定义一个损失函数（Loss Function）来描述对问题的求解精度（用数学的方式刻画预测答案和真实答案之间的距离，Loss越小，代表模型得到的结果与真实值的偏差越小，也就是说模型越精确。下面我们介绍两种常见的损失函数，分别是均方差损失函数及交叉熵损失函数。

• 均方差损失函数

回归问题完成的是对具体数值的预测。与分类问题的预测不同，解决回归问题的网络模型在完成预测之后不会输出一个概率分布向量，而是一个经由它预测得到数值，比如股票预测、彩票预测等。这也就说明，解决回归问题的神经网络一般只有一个输出节点，这个节点的输出值就是预测值。对于回归问题，最常用的损失函数就是均方误差（Mean Aquared Error, MSE）损失函数。它的定义如下：

其中yi为第i个样本的真实值，yi’为第i个样本经过神经网络得到的输出预测值。解决回归问题的网络模型就是以最小化该函数为目标。tensorflow代码实现如下：

• 交叉熵损失函数

手写字识别问题是一个十分类的问题，主要是判断一张图片中的阿拉伯数字是 0～9 中的哪一个。解决多分类问题最常用的方法是设置n个输出神经元，输出神经元的个数要