本内容参考书籍与代码:
《Tensorflow深度学习算法原理与编程实战》第四章
这部分主要是一些概念性的问题 简单记录一下
激活函数
作用:解决线性不可分问题
常见激活函数:
ReLU:整流线性单元 易于优化
sigmoid:存在导数饱和的问题
多层网络
解决异或运算问题
可以看作抽取更高维度的特征
损失函数
交叉熵
给定两个概率分布p和q,通过q来表示p的交叉熵为:
使用交叉熵作为神经网络的损失函数时,p代表的是正确答案,q代表的是预测值。当两个概率分布越接近时,它们的交叉熵也就越小。
由于神经网络的输出并不是一个概率分布,所以需要先使用softmax将网络输出变成一个概率分布,再计算交叉熵。
比如,原始的神经网络输出为y1,y2,……,yn,那么经过softmax处理后的输出为:
在Tensorflow中,softmax仅作为一个额外处理层,使输出变成一个概率分布。输出的概率分布才能满足交叉熵的运算需求。
import tensorflow.compat.v1 as tf
tf.disable_eager_execution()
import os
os.environ["CUDA_VISIBLE_DEVICES"] = "-1"
v = tf.constant([[1.0, 2.0, 3.0], [4.0, 5.0, 6.0]])
with tf.Session() as sess:
print(tf.clip_by_value(v, 2.5, 4.5).eval())
"""
作用:小于2.5的数字都改成2.5,大于6.5的数字都改成6.5 防止违反算术规则
输出为
[[ 2.5 2.5 3. ]
[ 4. 4.5 4.5]]
"""
# tensorflow中提供的直接计算交叉熵损失的函数,logits代表神经网络的输出结果,labels表示真实类别
# our NN's output
logits = tf.constant([[1.0, 2.0, 3.0], [1.0, 2.0, 3.0], [1.0, 2.0, 3.0]])
# step1:do softmax
y = tf.nn.softmax(logits)
# true label
y_ = tf.constant([[0.0, 0.0, 1.0], [0.0, 0.0, 1.0], [0.0, 0.0, 1.0]])
# step2:do cross_entropy
cross_entropy = -tf.reduce_sum(y_ * tf.log(y))
# do cross_entropy just one step
cross_entropy2 = tf.reduce_sum(
tf.nn.softmax_cross_entropy_with_logits(logits=logits, labels=y_)
)
# dont forget tf.reduce_sum()!!
# 注意这句在1.x和2的语法并不一样
with tf.Session() as sess:
softmax = sess.run(y)
c_e = sess.run(cross_entropy)
c_e2 = sess.run(cross_entropy2)
print("step1:softmax result=")
print(softmax)
print("step2:cross_entropy result=")
print(c_e)
print("Function(softmax_cross_entropy_with_logits) result=")
print(c_e2)
"""输出如下:
step1:softmax result=
[[0.09003057 0.24472848 0.66524094]
[0.09003057 0.24472848 0.66524094]
[0.09003057 0.24472848 0.66524094]]
step2:cross_entropy result=
1.222818
Function(softmax_cross_entropy_with_logits) result=
1.2228179"""
均方误差损失函数 MSE
M
E
S
(
y
,
y
′
)
=
∑
i
=
1
n
(
y
i
−
y
i
′
)
2
n
MES(y,y^{'})=\frac{\sum _{i=1}^{n}(y_{i}-y_{i}^{'})^{2}}{n}
MES(y,y′)=n∑i=1n(yi−yi′)2
其中,
y
i
y_{i}
yi是第i个结果的预测值,
y
i
′
y_{i}^{'}
yi′为真实值
以最小化MSE为目标
mse=tf.reduce_mean(tf.square(y_-y))
自定义损失函数
tensorlfow支持自定义损失函数。
tf.where和tf.greater函数用法如下:
# tf.where和tf.greater函数的用法
v1=tf.constant([1.0,2.0,3.0,4.0])
v2=tf.constant([4.0,3.0,2.0,1.0])
with tf.Session() as sess:
print(tf.greater(v1,v2).eval())
# 前>后为false,反之为true 输出 [False False True True]
print(tf.where(tf.greater(v1,v2),v1,v2).eval())
# 三个参数相当于c语言中的tf.greater(v1,v2)?v1:v2 输出 [ 4. 3. 3. 4.]