Tensorflow深度学习笔记2 激活函数与损失函数

本内容参考书籍与代码：
《Tensorflow深度学习算法原理与编程实战》第四章
这部分主要是一些概念性的问题 简单记录一下

激活函数

作用：解决线性不可分问题
常见激活函数：
ReLU：整流线性单元 易于优化
sigmoid：存在导数饱和的问题

多层网络

解决异或运算问题
可以看作抽取更高维度的特征

损失函数

交叉熵

给定两个概率分布p和q，通过q来表示p的交叉熵为：

使用交叉熵作为神经网络的损失函数时，p代表的是正确答案，q代表的是预测值。当两个概率分布越接近时，它们的交叉熵也就越小。
由于神经网络的输出并不是一个概率分布，所以需要先使用softmax将网络输出变成一个概率分布，再计算交叉熵。

比如，原始的神经网络输出为y1，y2，……，yn，那么经过softmax处理后的输出为：

在Tensorflow中，softmax仅作为一个额外处理层，使输出变成一个概率分布。输出的概率分布才能满足交叉熵的运算需求。

import tensorflow.compat.v1 as tf

tf.disable_eager_execution()
import os

os.environ["CUDA_VISIBLE_DEVICES"] = "-1"
v = tf.constant([[1.0, 2.0, 3.0], [4.0, 5.0, 6.0]])
with tf.Session() as sess:
    print(tf.clip_by_value(v, 2.5, 4.5).eval())
"""
作用：小于2.5的数字都改成2.5，大于6.5的数字都改成6.5 防止违反算术规则
输出为
[[ 2.5  2.5  3. ]
 [ 4.   4.5  4.5]]
"""
# tensorflow中提供的直接计算交叉熵损失的函数,logits代表神经网络的输出结果，labels表示真实类别
# our NN's output
logits = tf.constant([[1.0, 2.0, 3.0], [1.0, 2.0, 3.0], [1.0, 2.0, 3.0]])
# step1:do softmax
y = tf.nn.softmax(logits)
# true label
y_ = tf.constant([[0.0, 0.0, 1.0], [0.0, 0.0, 1.0], [0.0, 0.0, 1.0]])
# step2:do cross_entropy
cross_entropy = -tf.reduce_sum(y_ * tf.log(y))
# do cross_entropy just one step
cross_entropy2 = tf.reduce_sum(
    tf.nn.softmax_cross_entropy_with_logits(logits=logits, labels=y_)
)
# dont forget tf.reduce_sum()!!
# 注意这句在1.x和2的语法并不一样

with tf.Session() as sess:
    softmax = sess.run(y)
    c_e = sess.run(cross_entropy)
    c_e2 = sess.run(cross_entropy2)
    print("step1:softmax result=")
    print(softmax)
    print("step2:cross_entropy result=")
    print(c_e)
    print("Function(softmax_cross_entropy_with_logits) result=")
    print(c_e2)

"""输出如下：
step1:softmax result=
[[0.09003057 0.24472848 0.66524094]
 [0.09003057 0.24472848 0.66524094]
 [0.09003057 0.24472848 0.66524094]]
step2:cross_entropy result=
1.222818
Function(softmax_cross_entropy_with_logits) result=
1.2228179"""

均方误差损失函数 MSE

$$MES(y,y^{{}^{\prime }})=\frac{{\sum }_{i=1}^n(y_i-y_i^{{}^{\prime }}{)}^2}{n}$$
其中，$y_i$是第i个结果的预测值，$y_i^{{}^{\prime }}$为真实值
以最小化MSE为目标

mse=tf.reduce_mean(tf.square(y_-y))

自定义损失函数

tensorlfow支持自定义损失函数。
tf.where和tf.greater函数用法如下：

# tf.where和tf.greater函数的用法
v1=tf.constant([1.0,2.0,3.0,4.0])
v2=tf.constant([4.0,3.0,2.0,1.0])

with tf.Session() as sess:
    print(tf.greater(v1,v2).eval())
    # 前>后为false，反之为true 输出 [False False  True  True]
    print(tf.where(tf.greater(v1,v2),v1,v2).eval())
    # 三个参数相当于c语言中的tf.greater(v1,v2)？v1：v2 输出 [ 4.  3.  3.  4.]