深度学习—神经网络优化(一)
神经元模型: 用数学公式表示为:
f
(
∑
i
x
i
w
i
+
b
)
f(\sum\limits_i {{x_i}{w_i} + b} )
f(i∑xiwi+b),f为激活函数。神经网络是以神经元为基本单元构成的。
激活函数: 引入非线性激活因素,提高模型的表达力。常用的激活函数有relu、sigmoid、tanh等。
①激活函数relu:在tensorflow中,用tf.nn.relu()表示
②激活函数sigmoid:在tensorflow中用tf.nn.sigmoid()表示
③激活函数tenh:在Tensorflow中,用tf.nn.tanh()表示
神经网络的复杂度:可用神经网络的层数和神经网络中待优化参数的个数表示
神经网络的层数:一般不计入输入层,层数n=n个隐藏层+1个输出层
神经网络待优化的参数:神经网络中所有参数w的个数+所有参数b的个数
例如:
在该神经网络中,博阿涵1个输入层,1个隐藏层,该神经网络的层数为2层。参数的个数是所有参数w的个数加上所有参数b的总数,第一层参数用三行四列的二阶张量表示(即12个线上的权重w)在加上4个偏置b;第二层参数是四行两列的二阶张量(即8个线上的权重w)再加上2个偏执b。总参数=344+4*2+2=26
损失函数(loss): 用来表示预测值(y)与已知答案(y_)的差距。在训练神经网络时,通过不断改变神经网络中所有参数,使损失函数不断减少,从而训练处更高准确率的神经网络模型。
常用的损失函数有均方误差、自定义和交叉墒等。
均方误差mse: n个样本的预测值y与已知答案y_之差的平方和,再求平均值。
M
S
E
(
y
_
,
y
)
=
∑
i
=
1
n
(
y
−
y
_
)
2
n
MSE(y\_,y) = \frac{{\sum\limits_{i = 1}^n {{{(y - y\_)}^2}} }}{n}
MSE(y_,y)=ni=1∑n(y−y_)2
在Tensorflow中用loss_mse=tf.reduce_mean(tf.square(y_-y))
举例:
预测酸奶日销量y,x1和x2是影响日销量的两个因素。
应提前采集的数据有:一段时间内,每日的x1因素、x2因素和销量y_。采集的数据尽量多。
在本例中用销量预测产量,最优的产量应该等于销量。由于目前没有数据集,所以拟造了一套数据集。利用tensorflow中函数随机生成x1、x2,制造标准答案y_=x1+x2,为了更真实,求和后还加了正负0.05的随机噪声。
将这套自制的数据集喂入一个一层的神经网络,拟合预测酸奶日销量的函数。
代码如下:
import tensorflow as tf
import numpy as np
BATCH_SIZE = 8
SEED = 23455
rdm = np.random.RandomState(SEED)
X = rdm.rand(32, 2)
Y_ = [[x1+x2+(rdm.rand()/10.0-0.05)] for (x1, x2) in X]
# 定义神经网络的输入、参数和输出,定义前向传播过程。
x = tf.placeholder(tf.float32, shape=(None, 2))
y_ = tf.placeholder(tf.float32, shape=(None, 1))
w1 = tf.Variable(tf.random_normal([2, 1], stddev=1, seed=1))
y = tf.matmul(x, w1)
# 2定义损失函数以及反向传播方法。
# 定义损失函数为MSE,反向传播方法为梯度下降。
loss_mse = tf.reduce_mean(tf.square(y_ - y))
train_step = tf.train.GradientDescentOptimizer(0.001).minimize(loss_mse)
# 3生成会话,训练STEPS轮
with tf.Session() as sess:
init_op = tf.global_variables_initializer()
sess.run(init_op)
STEPS = 20000
for i in range(STEPS):
start = (i * BATCH_SIZE) % 32
end = (i*BATCH_SIZE) % 32 + BATCH_SIZE
sess.run(train_step, feed_dict={x:X[start:end], y_:Y_[start:end]})
if i % 500 == 0:
print("After %d training steps, w1 is:" %(i))
print(sess.run(w1), "\n")
print("Final w1 is:\n", sess.run(w1))
结果:
本例中神经网络预测模型为y=w1x1+w2x2,损失函数采用均方误差。通过使损失函数(loss)不断降低,神经网络模型得到最终参数w1=0.98,w2=1.02,销量预测结果为y=0.98x1+1.02x2。由于在生成数据集时,标准答案为y=x1+x2,因此,销量预测结果和标准答案已非常接近,说明该神经网络预测酸奶日销量正确。
**自定义损失函数:**根据问题的实际情况,定制合理的损失函数。
例如:
对于预测酸奶日销量的问题,如果预测销量大于实际销量则会损失成本,如果预测销量小于实际销量则会损失利润。在实际生活中,往往制造一盒酸奶的成本和销售一盒酸奶的利润是不等价的。因此,需要使用符合该问题的自定义损失函数。
自定义损失函数为:
l
o
s
s
=
∑
n
f
(
y
_
,
y
)
loss = \sum\limits_n {f(y\_,y)}
loss=n∑f(y_,y),其中损失定义成分段函数:
损失函数表示,若预测结果y小于标准答案y_,损失函数为利润乘以预测结果y与标准答案y_之差;若预测结果y大于标准答案y_,损失函数为成本乘以预测结果y与标准答案y_之差。
用Tensorflow表示为:
loss=tf.reduce_sum(tf.where(tf.greater(y,y_),COST(y-y_),PROFIT(y_-y)))
①若酸奶成本为1元,酸奶销售利润为9元,这制造成本小于酸奶利润,因此希望预测的结果y多一些。采用上述的自定义损失函数,训练神经网络模型。
代码如下(对于上一个代码,只需要修改损失函数的步骤即可):
# 2定义损失函数及反响传播方法。
# 定义损失函数是的预测少了的损失大,于是模型应该偏向多的方向预测。
COST = 1
PROFIT = 9
loss = tf.reduce_sum(tf.where(tf.greater(y, y_), (y - y_)*COST, (y_ - y)*PROFIT))
train_step = tf.train.GradientDescentOptimizer(0.001).minimize(loss)
运行结果:
神经网络最终参数为w1=1.03,w2=1.05,销量预测结果为y=1.03x1+1.05x2。由此可见,采用自定义损失函数预测的结果大于采用均方误差预测的结果,更符合实际需求。
②若酸奶成本为9元,酸奶销售利润为1元,这制造陈本大于酸奶利润,因此希望预测结果y小一些。采用上述的自定义损失函数,训练神经网络模型。
训练结果如下:
神经网路最终参数为w1=0.96,w2=0.97,销量预测结果为y=0.96x1+0.97x2。因此,采用自定义损失函数预测的结果小于采用均方误差预测的结果,更符合实际需求。
交叉熵: 表示两个概率分布之间的距离。交叉熵越大,两个概率分布距离越远,两个概率分布越相异;交叉熵越小,两个概率分布距离越近,两个概率分布越相似。
交叉熵计算公式:
H
(
y
_
,
y
)
=
−
∑
y
_
∗
log
y
% MathType!MTEF!2!1!+- % feaahmart1ev3aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLn % hiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr % 4rNCHbWexLMBbXgBd9gzLbvyNv2CaeHbl7mZLdGeaGqiVu0Je9sqqr % pepC0xbbL8F4rqqrFfpeea0xe9Lq-Jc9vqaqpepm0xbba9pwe9Q8fs % 0-yqaqpepae9pg0FirpepeKkFr0xfr-xfr-xb9adbaqaaeGaciGaai % aabeqaamaabaabauaakeaacaWGibGaaiikaiaadMhacaGGFbGaaiil % aiaadMhacaGGPaGaeyypa0JaeyOeI0YaaabqaeaacaWG5bGaai4xai % aacQcaciGGSbGaai4BaiaacEgacaWG5baaleqabeqdcqGHris5aaaa % !4F36! H(y\_,y) = - \sum {y\_*\log y}
H(y_,y)=−∑y_∗logy
用Tensorflow函数表示为ce=-tf.reduce_mean(y_*tf.log(tf…clip_by_value(y,le-12,1.0)))
举例:
两个神经网络模型解决二分类问题中,已知标准答案为y_=(1,0),第一个神经网路模型预测结果为y1=(0.6,0.4),第二个神经网络模型预测结果为y2=(0.8,0.2),判断那个神经网络模型预测结果更接近标准答案。
根据交叉熵的计算公式:
H
1
(
(
1
,
0
)
,
(
0.6
,
0.4
)
)
=
−
(
1
×
log
0.6
+
0
×
log
0.4
)
≈
−
(
−
0.222
+
0
)
=
0.222
% MathType!MTEF!2!1!+- % feaahmart1ev3aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLn % hiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr % 4rNCHbWexLMBbXgBd9gzLbvyNv2CaeHbl7mZLdGeaGqiVu0Je9sqqr % pepC0xbbL8F4rqqrFfpeea0xe9Lq-Jc9vqaqpepm0xbba9pwe9Q8fs % 0-yqaqpepae9pg0FirpepeKkFr0xfr-xfr-xb9adbaqaaeGaciGaai % aabeqaamaabaabauaakeaacaWGibWaaSbaaSqaaiaaigdaaeqaaOGa % aiikaiaacIcacaaIXaGaaiilaiaaicdacaGGPaGaaiilaiaacIcaca % aIWaGaaiOlaiaaiAdacaGGSaGaaGimaiaac6cacaaI0aGaaiykaiaa % cMcacqGH9aqpcqGHsislcaGGOaGaaGymaiabgEna0kGacYgacaGGVb % Gaai4zaiaaicdacaGGUaGaaGOnaiabgUcaRiaaicdacqGHxdaTciGG % SbGaai4BaiaacEgacaaIWaGaaiOlaiaaisdacaGGPaGaeyisISRaey % OeI0IaaiikaiabgkHiTiaaicdacaGGUaGaaGOmaiaaikdacaaIYaGa % ey4kaSIaaGimaiaacMcacqGH9aqpcaaIWaGaaiOlaiaaikdacaaIYa % GaaGOmaaaa!6F4E! {H_1}((1,0),(0.6,0.4)) = - (1 \times \log 0.6 + 0 \times \log 0.4) \approx - ( - 0.222 + 0) = 0.222
H1((1,0),(0.6,0.4))=−(1×log0.6+0×log0.4)≈−(−0.222+0)=0.222
H
2
(
(
1
,
0
)
,
(
0.8
,
0.2
)
)
=
−
(
1
×
log
0.8
+
0
×
log
0.2
)
≈
−
(
−
0.097
+
0
)
=
0.097
{H_2}((1,0),(0.8,0.2)) = - (1 \times \log 0.8 + 0 \times \log 0.2) \approx - ( - 0.097 + 0) = 0.097
H2((1,0),(0.8,0.2))=−(1×log0.8+0×log0.2)≈−(−0.097+0)=0.097
由于0.222>0.097,所以预测结果y2与标准答案y_更接近,y2预测更准确。
**softmax函数:**将n分类的n个输出(y1,y2,…yn)变为满足以下概率分布要求的函数。
softmax函数表示为:
s
o
f
t
max
(
y
t
)
=
e
y
i
∑
j
=
1
n
e
y
i
% MathType!MTEF!2!1!+- % feaahmart1ev3aaatCvAUfeBSjuyZL2yd9gzLbvyNv2CaerbuLwBLn % hiov2DGi1BTfMBaeXatLxBI9gBaerbd9wDYLwzYbItLDharqqtubsr % 4rNCHbWexLMBbXgBd9gzLbvyNv2CaeHbl7mZLdGeaGqiVu0Je9sqqr % pepC0xbbL8F4rqqrFfpeea0xe9Lq-Jc9vqaqpepm0xbba9pwe9Q8fs % 0-yqaqpepae9pg0FirpepeKkFr0xfr-xfr-xb9adbaqaaeGaciGaai % aabeqaamaabaabauaakeaacaWGZbGaam4BaiaadAgacaWG0bGaciyB % aiaacggacaGG4bGaaiikaiaadMhadaWgaaWcbaGaamiDaaqabaGcca % GGPaGaeyypa0ZaaSaaaeaacaWGLbWaaWbaaSqabeaacaWG5bGaamyA % aaaaaOqaamaaqahabaGaamyzamaaCaaaleqabaGaamyEaiaadMgaaa % aabaGaamOAaiabg2da9iaaigdaaeaacaWGUbaaniabggHiLdaaaaaa % !5647! soft\max ({y_t}) = \frac{{{e^{yi}}}}{{\sum\limits_{j = 1}^n {{e^{yi}}} }}
softmax(yt)=j=1∑neyieyi
softmax函数应用:在n分类中,模型会有n个输出,即y1,y2,…,yn,其中yi表示可能性大小。将n个输出经过softmax函数,可得到符合概率分布的分类结果。
在tensorflow中,一般让模型的输出经过softmax函数,以获得输出分类的概率分布,再与标准答案对比,求出交叉熵,得到损失函数,用如下函数实现:
ce = tf.nn.sparse_softmax_cross_entropy_with_logits(logits=y, labels=tf.argmax(y_, 1))
cem = tf.reduce_mean(ce)