《人工智能实践：Tensorflow笔记》听课笔记14_4.1损失函数

最新推荐文章于 2022-11-03 19:51:29 发布

RENeast

最新推荐文章于 2022-11-03 19:51:29 发布

阅读量322

点赞数

分类专栏：人工智能文章标签：人工智能

本文链接：https://blog.csdn.net/weixin_42054023/article/details/99613542

版权

人工智能专栏收录该内容

34 篇文章 0 订阅

订阅专栏

附：课程链接

第四讲.神经网络优化
4.1损失函数
由于个人使用Win7系统，并未完全按照课程所讲，以下记录的也基本是我的结合课程做的Windows系统+PyCharm操作。且本人有python基础，故一些操作可能简略。并未完全按照网课。

记住编写代码时，除注释内容外，字符均使用英文格式。

一、神经元及神经网络基础
1.1943年McCulloch Pitts神经元模型：
在这里插入图片描述
我们以后用到的神经网络都会以这个神经元模型为基本单元，首尾相接，构成神经网络。

其中引入的激活函数f可以有效避免仅使用∑XiWi的纯线性组合，提高了模型的表达力，使模型具有了更好的区分度。常用的激活函数有：relu、sigmoid、tanh等。三者的数学表达式、数学图形、在tensorflow中的表示方式如下：

在这里插入图片描述
2.神经网络的复杂度：可用神经网络的层数和神经网络中待优化参数个数表示。

3.①神经网络层数运算：只计算具有运算能力的层，输入层只把数据传输过来，没有运算，所以计算神经网络层数时，不计算输入层。层数 = 隐藏层的层数n个 + 一个输出层。
②总参数的计算：神经网络中所有参数w的个数 + 所有参数b的个数
在这里插入图片描述

上图输入层有三个节点，隐藏层有四个节点，输出层有两个节点。隐藏层是第一层网络，输出层是第二层网络。是两层的神经网络。
上图总参数的计算：3行4列的w + 4个偏置b + 4行2列的w + 2个偏置b，如下：

在这里插入图片描述
二、神经网络的优化（从四个方面理解：损失函数loss、学习率learning_rate、滑动平均ema、正则化regularization）
1.损失函数loss：前向传播的预测值（y）与已知答案（y_）的差距。损失函数的目标就是想找到某条参数，使得推算出的结果y和已知标准答案y_无限接近。也就是它们的差距loss最小。
主流的loss计算有三种：均方误差、自定义、交叉熵等。
①均方误差mse（mean squared error）:
在这里插入图片描述
对均方误差方法的loss计算的理解，代码举例：
题目：预测酸奶日销量y。x1、x2是影响日销量的两个因素。
题目分析：①建模前应提前采集的数据有：一段时间内，每日的x1因素、x2因素和销量y_。采集的数据越多越有利。②在本例中用销量预测产量，最优的产量应该等于销量（产量若少，供不应求；产量若多，卖不完可能赔钱）。③由于目前我们没有数据集，所以要拟造一套数据集X，Y_：利用tensorflow中函数随机生成x1，x2，制造标准答案y_ = x1 + x2，为了更正式，加入随机噪声（-0.05 ~ 0.05）。④把构造的数据喂入神经网络，构建一个一层的神经网络，拟合预测酸奶日销量的函数。

代码验证：

"""
    预测多或预测少的影响一样
    导入模块，生成模拟数据集
"""
import tensorflow as tf #导入tensorflow模块，简写为tf
import numpy as np  #导入numpy模块，简写为np。numpy模块是python的科学计算模块
BATCH_SIZE = 8  #BATCH_SIZE表示一次喂入神经网络多少组数据，该数值不可过大
seed = 23455    #设置统一的seed使得随机生成结果一样，方便debug

#基于seed产生随机数
rdm = np.random.RandomState(seed)   #利用随机种子生成数据集
#随机数返回32行2列的矩阵，表示32组0到1之间的随机数x1和x2，作为输入数据集
X = rdm.rand(32,2)  #X为32组，每组两个特征
#用Y_生成训练集对应的标签（正确答案）。取出每组的x1和x2求和，再加上随机噪声。
# 其中.rand函数会生成0到1的前闭后开区间随机数，再除以10，变成0到0.01之间的随机数，减去0.05，变成了-0.05到0.05之间的随机数
Y_ = [[x1 + x2 + rdm.rand()/10.0-0.05] for (x1,x2) in X]   #把（x1 + x2 + b）<1的数据，认为合格，标记为1；其余为不合格，标记为0


"""
    1定义神经网络的输入、参数和输出，定义前向传播过程
"""
x = tf.placeholder(tf.float32,shape=(None,2))
#x为输入的特征，32位浮点型。shape的第一维None表示输入未知组数
#shape的第二维2表示每组有两个特征，即x1和x2
y_ = tf.placeholder(tf.float32,shape=(None,1))
#y_表示标准答案，也就是合格为1、不合格为0的标签。shape第一维None表示未知组数的标签
#shape的第二维为1，是因为每个标签只有一个元素，即合格或不合格的标记

w1 = tf.Variable(tf.random_normal([2,1],stddev=1,seed=1))   #参数，输入是2个特征，故w1为2行，对应X

#矩阵乘法实现前向传播过程描述
y = tf.matmul(x,w1)

"""
    2定义损失函数及反向传播方法
    定义损失函数为MSE，反向传播方法为梯度下降
"""
#反向传播中须指定损失函数loss
loss_mse = tf.reduce_mean(tf.square(y-y_))  #用均方误差计算loss
train_step = tf.train.GradientDescentOptimizer(0.001).minimize(loss_mse)    #选用梯度下降实现训练过程，学习率填入0.001
#train_step = tf.train.MomentumOptimizer(0.001,0.9).minimize(loss) #还可使用Momentum优化方法
#train_step = tf.train.AdamOptimizer(0.01).minimize(loss)  #还可使用Adam优化方法
#三种优化方法选择其一即可

"""
    3生成会话，训练STEPS轮
"""
with tf.Session() as sess:  #生成with结构
    init_op = tf.global_variables_initializer() #初始化所有变量
    sess.run(init_op)

    #训练模型
    STEPS = 20000    #训练20000轮
    for i in range(STEPS):
        start = (i*BATCH_SIZE) % 32
        end = start + BATCH_SIZE
        sess.run(train_step,feed_dict={x:X[start:end],y_:Y_[start:end]})
        #每轮从X的数据集和Y的标签中抽取相应的从start到end个特征和标签，喂入神经网络，用see.run执行训练过程
        if i % 500 == 0:    #每500轮打印一次loss值
            print("After %d training step(s),w1 is: "% (i))
            print(sess.run(w1),"\n")
    #20000轮后，输出训练后的参数取值
    print("Final w1 is:\n",sess.run(w1))    #打印第一层神经网络参数的值

验证结果（仅显示部分）：
在这里插入图片描述

可以看到，两个参数x1，x2都向1趋近。

由上述代码可知，本例中神经网络预测模型为w1x1 + w2x2，损失函数均采用均方误差。通过使损失函数值（loss）不断降低，神经网络模型得到最终参数x1 = 0.98，w2 = 1.02，即销售预测结果为y = 0.98 x1 + 1.02x2.因此，销售预测结果和标准答案已经非常接近，说明该神经网络预测酸奶日销量正确。****

上例中使用了mse作为损失函数，默认认为销量预测多了或者预测少了，损失是一样的。然而真实情况是，预测多了，损失的是成本；预测少了，损失的是利润。利润和成本往往不相等。在这种情况下使用mse，是无法让利益最大化的。

②此时，我们可以使用自定义损失函数：
在这里插入图片描述
对自定义损失方法的loss计算的理解，代码举例：
题目：预测酸奶日销量，酸奶成本（COST）1元，酸奶利润（PROFIT）9元。
题目分析：①预测少了损失利润9元，大于预测多了损失成本1元。②预测少了损失大，希望拟合的预测函数往多了预测。

代码验证：

"""
    酸奶成本1元，酸奶利润9元
    预测少了损失大，故不要预测少，故生成的模型会多预测一些
    导入模块，生成模拟数据集
"""
import tensorflow as tf #导入tensorflow模块，简写为tf
import numpy as np  #导入numpy模块，简写为np。numpy模块是python的科学计算模块
BATCH_SIZE = 8  #BATCH_SIZE表示一次喂入神经网络多少组数据，该数值不可过大
seed = 23455    #设置统一的seed使得随机生成结果一样，方便debug
COST = 1	#成本1元
PROFIT = 9	#利润9元

#基于seed产生随机数
rdm = np.random.RandomState(seed)   #利用随机种子生成数据集
#随机数返回32行2列的矩阵，表示32组0到1之间的随机数x1和x2，作为输入数据集
X = rdm.rand(32,2)  #X为32组，每组两个特征
#用Y_生成训练集对应的标签（正确答案）。取出每组的x1和x2求和，再加上随机噪声。
# 其中.rand函数会生成0到1的前闭后开区间随机数，再除以10，变成0到0.01之间的随机数，减去0.05，变成了-0.05到0.05之间的随机数
Y_ = [[x1 + x2 + rdm.rand()/10.0-0.05] for (x1,x2) in X]   #把（x1 + x2 + b）<1的数据，认为合格，标记为1；其余为不合格，标记为0


"""
    1定义神经网络的输入、参数和输出，定义前向传播过程
"""
x = tf.placeholder(tf.float32,shape=(None,2))
#x为输入的特征，32位浮点型。shape的第一维None表示输入未知组数
#shape的第二维2表示每组有两个特征，即x1和x2
y_ = tf.placeholder(tf.float32,shape=(None,1))
#y_表示标准答案，也就是合格为1、不合格为0的标签。shape第一维None表示未知组数的标签
#shape的第二维为1，是因为每个标签只有一个元素，即合格或不合格的标记

w1 = tf.Variable(tf.random_normal([2,1],stddev=1,seed=1))   #参数，输入是2个特征，故w1为2行，对应X

#矩阵乘法实现前向传播过程描述
y = tf.matmul(x,w1)

"""
    2定义损失函数及反向传播方法
    定义损失函数为MSE，反向传播方法为梯度下降
"""
#反向传播中须指定损失函数loss
loss = tf.reduce_sum(tf.where(tf.greater(y,y_),(y - y_)*COST,(y_ - y)*PROFIT))  #用均方误差计算loss
train_step = tf.train.GradientDescentOptimizer(0.001).minimize(loss)    #选用梯度下降实现训练过程，学习率填入0.001
#train_step = tf.train.MomentumOptimizer(0.001,0.9).minimize(loss) #还可使用Momentum优化方法
#train_step = tf.train.AdamOptimizer(0.01).minimize(loss)  #还可使用Adam优化方法
#三种优化方法选择其一即可

"""
    3生成会话，训练STEPS轮
"""
with tf.Session() as sess:  #生成with结构
    init_op = tf.global_variables_initializer() #初始化所有变量
    sess.run(init_op)

    #训练模型
    STEPS = 20000    #训练20000轮
    for i in range(STEPS):
        start = (i*BATCH_SIZE) % 32
        end = start + BATCH_SIZE
        sess.run(train_step,feed_dict={x:X[start:end],y_:Y_[start:end]})
        #每轮从X的数据集和Y的标签中抽取相应的从start到end个特征和标签，喂入神经网络，用see.run执行训练过程
        if i % 500 == 0:    #每500轮打印一次loss值
            print("After %d training step(s),w1 is: "% (i))
            print(sess.run(w1),"\n")
    #20000轮后，输出训练后的参数取值
    print("Final w1 is:\n",sess.run(w1))    #打印第一层神经网络参数的值

验证结果（仅显示部分）：
在这里插入图片描述
可以看到，两个参数x1，x2均大于1。

拟合出来的函数y = 1.02x1 + 1.04x2。系数都偏大，都大于用均方误差做损失函数时的系数。模型的确在尽量往多了预测。

（注意：网课中更改了训练次数，从20000改成了3000，但未提及。这里依然保持20000的训练次数）

若将题目改为：酸奶成本9元，利润1元，则验证代码：

COST = 9    #成本9元
PROFIT = 1  #利润1元

验证结果（仅显示部分）：
在这里插入图片描述

可以看到，两个参数x1，x2均小于1。
验证结果是销量y = 0.97x1 + 0.98x2。系数偏小，模型在尽量往少了预测。

（注意：网课中更改了训练次数，从20000改成了3000，但未提及。这里依然保持20000的训练次数）

③交叉熵ce(Cross Entropy)：
交叉熵是表示两个概率分布的距离。交叉熵越大，两个概率分布距离越远，两个概率分布越相异；交叉熵越小，两个概率分布距离越近，两个概率分布越相近。
交叉熵计算公式及举例：
在这里插入图片描述
上图中的例子：
①标准答案的概率分布y_有两个元素分布，表示是二分类。第一个元素是1，表明第一种情况的发生概率是100%；第二个元素是0，表明第二种情况发生的概率是0。
②神经网络预测出了第一种概率分布y1，认为第一种情况的发生概率是60%，第二种情况的发生概率是40%；神经网络又预测出了第二种概率分布y2，认为第一种情况的发生概率是80%，第二种情况的发生概率是20%。
③人为观察y2更接近答案。
④计算机的方法是通过交叉熵的计算公式，y1与标准答案的距离是0.222；y2与标准答案的距离是0.097。可见计算机也认为y2更接近答案。

tensorflow的交叉熵表示方法中，tf.clip_by_value()函数给输入log的值做了限制，保证输入log的值是个有意义的数。表示当y小于10的(-12)次方时，为(-12)次方，防止出现log0的错误；当大于1时，是1。这是因为输入的数均满足概率分布，都是0、1之间的数，不可能大于1。

在实际操作中，为了让前向传播计算出的结果满足概率分布，也就是让推测出的n分类的输出每个都在0、1之间，且n个输出之和为1，引入了softmax()函数。
对于n分类，每次会有n个输出，也就是y1,y2,…yn。yn表示第n种情况出现的可能性大小。
这n个输出经过softmax()函数后，会符合概率分布。
在这里插入图片描述
在tensorflow中，一般让模型的输出经过softmax()函数，以获得分类的概率分布，再与标准答案作对比，求出交叉熵，得到损失函数。用以下两句话即可得出：

其中输出的cem为当前计算出的预测值与标准答案的差距，也就是损失函数。

RENeast

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
《人工智能实践：Tensorflow笔记》听课笔记14_4.1损失函数

附：课程链接第四讲.神经网络优化4.1损失函数由于个人使用Win7系统，并未完全按照课程所讲，以下记录的也基本是我的结合课程做的Windows系统+PyCharm操作。且本人有python基础，故一些操作可能简略。并未完全按照网课。记住编写代码时，除注释内容外，字符均使用英文格式。本节课程目标：搭建第一个神经网络，总结搭建八股。9.反向传播：优化模型参数。反向传播训练模型参数，在所有...
复制链接

扫一扫