TensorFlow 深度学习框架（4）-- 损失函数

神经网络模型的效果以及优化的目标是通过损失函数的定义来实现的，接下来针对分类问题和回归问题中使用到的经典的损失函数简单介绍。

分类问题--交叉熵

通过神经网络解决多分类问题最常用的方法是设置n个输出节点，其中n为类别的个数。对于每一个样例，神经网络可以得到的一个n维数组作为输出结果。数组中的每一个维度（也就是每一个输出节点）对应一个类别。在理想情况下，如果一个样本属于类别k，那么这个类别所对应的输出节点的输出值应该为 1 ，而其他节点的输出值都为 0 。以识别数字1 为例，神经网络的输出结果越接近 [0,1,0,0,0,0,0,0,0,0] 越好。那么如何判断一个输出向量和期望的向量有多接近呢？交叉熵是常用的评判方法之一。

给定两个概率分布 p 和 q，通过 q 来表示 p 的交叉熵为

注意交叉熵刻画的是两个概率分布之间的距离，然而神经网络的输出却不一定满足概率分布。概率分布刻画了不同事件发生的概率，当事件总是有限的情况下，概率分布 p(X=x) 满足

即任意事件发生的概率都在 0 和 1 之间，且总有某一个事件发生（概率的和为 1）。那么如何将神经网络前向传播的结果也变成概率分布呢？Softmax 回归就是一个非常常用的方法。如图是加上了 Softmax 回归的神经网络结构

假设原始的神经网络输出为 y1,y2,y3, ...,yn,那么经过 Softmax 回归处理之后的输出为：

从公式可以看出，经过 Softmax 层处理后新的输出可以理解为经过神经网络的推导，一个样例为不同类别的概率分别是多大。这样就把神经网络的输出也变成了一个概率分布，从而可以通过交叉熵来计算预测的概率分布和真实答案的概率分布之间的距离了。

cross_entropy = -tf.reduce_mean(
     y_ * tf.log(tf.clip_by_value(y,1e-10,1.0)))

以上就是交叉熵公式的一个代码实现，因为交叉熵一般会与 Softmax 回归一起使用，所以 TensorFlow 对这两个功能进行了统一封装，并提供了 tf.nn.softmax_cross_entropy_with_logits 函数，比如可以上述交叉熵代码可以直接实现

cross_entropy = tf.nn.softmax_cross_entropy_with_logits(logits = y,labels = y_)

回归问题 -- 均方差

与分类问题不同，回归问题解决的是对具体数值的预测。比如房价预测，销量预测等都是回归问题。这些问题需要预测的不是一个事先定义好的类别，而是一个任意实数。解决回归问题的神经网络一般只有一个输出节点，这个节点的输出值就是预测值。对于回归问题，最常用的函数是均方差（MSE），定义如下

其中yi 为一个batch中第i个数据的正确答案，而y'i 为神经网络给出的预测值。代码实现如下

mse = tf.reduce_mean(tf.square(y_ - y)) # y 代表神经网络的输出答案， y_ 代表了标准答案

自定义损失函数

TensorFlow 可以优化任意的自定义损失函数。假如如下案例，如果一个商品的成本是 1 元，但是利润是 10 元。如果我们预测销售量，少预测一个就损失 10 元，多预测一个损失 1 元。假设我们优化的是均方差，显然很可能模型就无法最大化预期的利润。为了最大化预期利润，需要将损失函数和利润直接联系起来。自定义损失函数应该如下

其中 a = 10 ,b =1,通过代码实现如下

# v1 是标准值， v2 是网络预测值
loss = tf.reduce_sum(tf.where(tf.greater(v1,v2),(v1 - v2) * a,(v2 - v1) * b))

关于 tf.select 和 tf.greater 示例代码如下

import tensorflow as tf
v1 =  tf.constant([1.0,2.0,3.0,4.0])
v2 =  tf.constant([4.0,3.0,2.0,1.0])

sess = tf.InteractiveSession()
print tf.greater(v1,v2).eval()
#输出 [False False True True]

print tf.where(tf.greater(v1,v2),v1,v2).eval()
#输出 [4.  3.  3.  4.]
sess.close()

定义完损失函数后训练神经网络的方法同第（2）所示，仅仅是将自定义的损失函数进行替换即可，再通过反向传播方法调节参数。但是要注意的是不同的损失函数会对训练得到的模型产生重要的影响。