神经网络优化---损失函数

最原始的神经元模型：

改进的神经元模型（该模型为基础模型）：

神经元模型：用数学公式表示为：

f为激活函数。神经网络是以神经元为基本单元构成的。
激活函数：引入非线性激活因素，提高模型的表达力。
常用的激活函数有relu、sigmoid、tanh等。
激活函数relu：在tensorflow中，用tf.nn.relu()表示
relu()数学表达式

relu()数学图像

激活函数sigmoid:在Tensorflow中，用**tf.nn.sigmiod()表示
sigmoid()数学表达式

sigmoid()数学图像

激活函数 tanh:在Tensorflow中，用tf.nn.tanh()**表示
tanh()数学表达式

tanh()数学图像

神经网络的复杂度：可用神经网络的层数和神经网络中待优化参数个数表示
神经网络的层数：一般不计入输入层，层数 = n个隐藏层 + 1个输出层
神经网络待优化的参数：神经网络中所有参数w的个数 + 所有参数b的个数

例如

在该神经网络中，包含1个输出层、1个隐藏层和1个输出层，该神经网络的层数为2层。
在该神经网络中，参数的个数是所有参数w的个数加上所有参数b的总数，第一层参数用三行四列的二阶张量表示（即12个线上的权重w）再加上4个偏置b;第二层参数是四行两列的二阶张量(即8个线上的权重w)再加上2个偏置b。总参数 = 34+4 + 42+2 = 26。

损失函数(loss)：用来表示预测值(y)与已知答案(y_)的差距。在训练神经网络时，通过不断改变神经网络中所有参数，使损失函数不断减小，从而训练出更高准确率的神经网络模型。
常用的损失函数有均方误差、自定义和交叉熵等。
均方误差mse：n个样本的预测值y与已知答案y_之差的平方和，再求平均值。

在Tensorflow中用loss_mse = tf.reduce_mean(tf.square(y_ - y))
例如：
预测酸奶日销量y,x1和x2是影响日销量的两个因素。
应提前采集的数据有：一段时间内，每日的x1因素、x2因素和销量y_。采集的数据尽量多。
在本例中用销量预测产量，最优的产量应该等于销量。由于目前没有数据集，所以拟造了一套数据集。利用Tensorflow中函数随机生成x1、x2，制造标准答案y_=x1+x2，为了更真实，求和后还加了正负0.05的随机噪声。
我们把这套自制的数据集喂入神经网络，构建一个一层的神经网络，拟合预测酸奶日销量的函数。
代码如下：

#coding:utf-8
#预测多或预测少的影响一样
#0导入模块，生成数据集
import tensorflow as tf
import numpy as np
BATCH_SIZE = 8
SEED = 23455

rdm = np.random.RandomState(SEED)
X = rdm.rand(32,2)
Y_ = [[x1+x2+(rdm.rand()/10.0-0.05)] for (x1,x2) in X]   #rdm.rand()生成0-1之间的随机数
w1 = tf.Variable(tf.random_normal([2,1],stddev=1, seed=1))
y = tf.matmul(x,w1)

#1定义神经网络的输入、参数和输出，定义前向传播过程。
x = tf.placeholder(tf.float32, shape=(None,2))
y_ = tf.placeholder(tf.float32, shape=(None,1))
w1 = tf.Variable(tf.random_normal([2,1],stddev=1,seed=1))
y = tf.matmul(x,w1)

#定义损失函数及反向传播方法
#定义损失函数为MSE，反向传播方法为梯度下降
loss_mse = tf.reduce_mean(tf.square(y_ - y))
train_step = tf.train.GradientDescentOptimizer(0.001).minimize(loss_mse)

#3生成会话，训练STEPS轮
with tf.Session() as sess:
	init_op = tf.global_variables_initializer()
	sess.run(init_op)
	STEPS = 20000
	for i in range(STEPS):
		start = (i*BATCH_SIZE) % 32
		end = (i*BATCH_SIZE) % 32 + BATCH_SIZE
		sess.run(train_step,feed_dict={x:X[start:end], y_: Y_[start:end]})
		if i % 500 == 0:
			print "After %d training steps,w1 is: " % (i)
			print sess.run(w1), "\n"
	print "Final w1 is: \n", sess.run(w1)

运行结果如下：

由上述代码可知，本例中神经网络预测模型为y = w1x1 + w2x2，损失函数采用均方误差。通过使损失函数值（loss）不断降低，神经网络模型得到最终参数w1=0.98,w2=1.02，销量预测结果为y = 0.98x1 + 1.02x2.。由于在生成数据集时，标准答案为 y = x1 + x2，以你，销量预测结果和标准答案已非常接近，说明该神经网络预测酸奶日销量正确。

自定义损失函数：根据问题的实际情况，定制合理的损失函数。
例如：
对于预测酸奶日销量问题，如果预测销量大于实际销量则会损失成本；如果预测销量小于实际销量则会损失利润。在实际生活中，往往制造一盒酸奶的成本和销售一盒酸奶的利润是不等价的。因此，需要使用符合该问题的自定义损失函数。
自定义损失函数为：

其中，损失定义成分段函数：

损失函数表示，若预测结果小于标准答案y_，损失函数为利润乘以预测结果y与标准答案y_之差；若预测结果y大于标准答案y_，损失函数为成本乘以预测结果y与标准答案y_之差。
用Tensorflow函数表示为：
loss=tf.reduce_sum(tf.where(tf.greater(y,y_),COST(y-y_),PROFIT(y_-y)))

1)若酸奶成本为1元，酸奶销售利润为9元，则制造成本小于酸奶利润，因此希望预测的结果y多一些。采用上述的自定义损失函数，训练神经网络模型。
代码如下：

#coding:utf-8
#酸奶成本1元，酸奶利润9元
#预测少了损失大，故不要预测少，故生成的模型会多预测一些
#0导入模块，生成数据集
import tensorflow as tf
import numpy as np
BATCH_SIZE = 8
SEED = 23455
COST = 1
PROFIT = 9

rdm = np.random.RandomState(SEED)
X = rdm.rand(32,2)
Y = [[x1+x2+(rdm.rand()/10.0-0.05)] for (x1,x2) in X]

#1定义神经网络的输入、参数和输出，定义前向传播过程
x = tf.placeholder(tf.float32, shape=(None,2))
y_ = tf.placeholder(tf.float32, shape=(None,1))
w1 = tf.Variable(tf.random_normal([2,1],stddev=1,seed=1))
y = tf.matmul(x,w1)

#定义损失函数及反向传播方法
#定义损失函数使得预测少了的损失大，于是模型应该偏向多的方向预测。
loss = tf.reduce_sum(tf.where(tf.greater(y,y_),(y-y_)*COST, (y_ - y)*PROFIT))
train_step = tf.train.GradientDescentOptimizer(0.001).minimize(loss)

运行结果如下：

由代码执行结果可知，神经网络最终参数为w1=1.03, w2=1.05，销量预测结果为 y= 1.03x1 + 1.05x2。由此可见，采用自定义损失函数的结果大于采用均方误差预测的结果，更符合实际需求。

2)若酸奶成本为9元，酸奶销售利润为1元，则制造成本大于酸奶利润，因此希望预测结果y小一些。采用上述的自定义损失函数，训练神经网络模型。
代码如下：

#coding:utf-8
#酸奶成本9元，酸奶利润1元
#预测多了损失大，故不要预测多，故生成的模型会少预测一些
#0导入模块，生成数据集
import tensorflow as tf
import numpy as np
BATCH_SIZE = 8
SEED = 23455
COST = 9
PROFIT = 1

rdm = np.random.RandomState(SEED)
X = rdm.rand(32,2)
Y = [[x1+x2+(rdm.rand()/10.0-0.05)] for (x1,x2) in X]

#1定义神经网络的输入、参数和输出，定义前向传播过程
x = tf.placeholder(tf.float32, shape=(None,2))
y_ = tf.placeholder(tf.float32, shape=(None,1))
w1 = tf.Variable(tf.random_normal([2,1],stddev=1,seed=1))
y = tf.matmul(x,w1)

#定义损失函数及反向传播方法
#定义损失函数使得预测多了的损失大，于是模型应该偏向少的方向预测。
loss = tf.reduce_sum(tf.where(tf.greater(y,y_),(y-y_)*COST, (y_ - y)*PROFIT))
train_step = tf.train.GradientDescentOptimizer(0.001).minimize(loss)

运行结果如下：

由执行结果可知，神经网络最终参数为w1=0.96,w2=0.97，销量预测结果为y=0.96x1 + 0.97x2。因此，采用自定义损失函数预测的结果小于采用均方误差预测的结果，更符合实际需求。

交叉熵（Cross Entropy）：表示两个概率分布之间的距离。交叉熵越大，两个概率分布距离越远，两个概率分布越相异；交叉熵越小，两个概率分布距离越近，两个概率分布越相似。
交叉熵计算公式：

用Tensorflow函数表示为
ce = -tf.reduce_mean(y_*tf.log(tf.clip_by_value(y,1e-12,1.0)))
例如：
两个神经网络模型解决二分类问题中，已知标准答案为y_ = (1,0)，第一个神经网络模型预测结果为y1=(0.6,0.4)，第二个神经网络模型预测结果为y2=(0.8,0.2)，判断哪个神经网络模型预测的结果更接近标准答案。
根据交叉熵的计算公式得：

由于0.222>0.097，所以预测结果y2与标准答案y_更接近，y2预测更准确。

softmax函数：将n分类的n个输出(y1,y2,…yn)变为满足以下概率分布要求的函数。

softmax函数表示为：

softmax函数应用：在n分类中，模型会有n个输出，即y1,y2…yn，其中yi表示第i种情况出现的可能性大小。将n个输出经过softmax函数，可得到符合概率分布的分类结果。
在Tensorflow中，一般让模型的输出经过softmax函数，以获得输出分类的概率分布，再与标准答案对比，求出交叉熵，得到损失函数，用如下函数实现：

ce = tf.nn.sparse_softmax_cross_entropy_with_logits(logits=y,labels=tf.argmax(y_,1))
cem = tf.reduce_mean(ce)