2.1神经网络优化之损失函数

损失函数(loss):预测(y)与已知答案(y_)的差距
神经网络优化的目标就是想找到某一套参数使损失函数最小
主流的loss计算有三种

  1. 均方误差mse(Mean Squared Error)
  2. 自定义
  3. 交叉熵ce(Cross Entropy)
    eg.预测酸奶的日销量y。x1和x2是影响日销量的因素
    建模前,应预先采集的数据有,每日x1和x2和y(已知答案,最佳情况销量=产量),拟造数据X,Y_,y_=x1+x2 噪声:-0.05~+0.05
    当预测多和预测少不影响时
    我们用均方误差去减小loss
import tensorflow as tf
import numpy as np
BATCH_SIZE = 8#表示一次喂入神经网络多少组数据(不要过大)
seed =23445
#基于seed产生的随机数
rdm=np.random.RandomState(seed)
#随机数返回32行2列的随机数,作为数据集,表示32组体积和重量
X = rdm.rand(32,2)
Y_ = [[x1+x2+(rdm.rand()/10.0-0.05)] for (x1,x2) in X]
#.rand()会生成0到1,前闭后开的区间,-0.05就变成-0.05~+0.05
#定义神经网络的输入、参数和输出,定义前向传播过程
x = tf.placeholder(tf.float32,shape=(None,2))#特征
y_ = tf.placeholder(tf.float32,shape=(None,1))#标准答案
#参数要匹配输入和输出
w1=tf.Variable(tf.random_normal([2,1],stddev=1,seed=1))

#用矩阵乘法实现的前向传播
y=tf.matmul(x,w1)

#定义损失函数和反向传播方法
loss=tf.reduce_mean(tf.square(y-y_))
train_step=tf.train.GradientDescentOptimizer(0.001).minimize(loss)#以梯度下降实现训练过程,学习率为0.001
#还有两种实现方法,选择其一即可
#train_step=tf.train.MomentumOptimizer(0.001,0.9).minimize(loss)
#train_step=tf.train.AdadeltaOptimizer(0.001).minimize(loss)

#生成会话,训练STEPS轮
with tf.Session() as sess:
    init_op = tf.global_variables_initializer()  # 实现对所有参数的初始化
    sess.run(init_op)
    #训练模型
    STEPS=20000
    for i in range(STEPS):
        start = (i*BATCH_SIZE)%32
        end = start +BATCH_SIZE
        sess.run(train_step,feed_dict={x:X[start:end],y_:Y_[start:end]})
        if i % 500 ==0:

            print("经过%d轮的训练,w1是" % i)
            print(sess.run(w1))
    print("最后w1是")
    print(sess.run(w1))

最后w1是
[[0.9614939]
[1.0495782]]
两个参数都向1趋近,y=0.96x1+1.04x2
我们上面用的是均方误差去减小损失函数,默认认为预测多或者少不影响,实际上并不是这样的,接下来我们通过自定义去减小loss
在这里插入图片描述
预测酸奶销量,成本1元,利润9元
预测少了损失利润,预测多了损失成本
我们希望往大了预测

BATCH_SIZE = 8#表示一次喂入神经网络多少组数据(不要过大)
seed =23445
COST=1
PROFIT=9
#基于seed产生的随机数
rdm=np.random.RandomState(seed)
#随机数返回32行2列的随机数,作为数据集,表示32组体积和重量
X = rdm.rand(32,2)
Y_ = [[x1+x2+(rdm.rand()/10.0-0.05)] for (x1,x2) in X]
#.rand()会生成0到1,前闭后开的区间,-0.05就变成-0.05~+0.05
#定义神经网络的输入、参数和输出,定义前向传播过程
x = tf.placeholder(tf.float32,shape=(None,2))#特征
y_ = tf.placeholder(tf.float32,shape=(None,1))#标准答案
#参数要匹配输入和输出
w1=tf.Variable(tf.random_normal([2,1],stddev=1,seed=1))

#用矩阵乘法实现的前向传播
y=tf.matmul(x,w1)

#定义自定义损失函数,预测少了损失大,于是模型偏预测大了走
loss=tf.reduce_mean(tf.where(tf.greater(y,y_),(y-y_)*COST,(y_-y)*PROFIT))
train_step=tf.train.GradientDescentOptimizer(0.001).minimize(loss)

#生成会话,训练STEPS轮
with tf.Session() as sess:
    init_op = tf.global_variables_initializer()  # 实现对所有参数的初始化
    sess.run(init_op)
    #训练模型
    STEPS=20000
    for i in range(STEPS):
        start = (i*BATCH_SIZE)%32
        end = start +BATCH_SIZE
        sess.run(train_step,feed_dict={x:X[start:end],y_:Y_[start:end]})
        if i % 500 ==0:

            print("经过%d轮的训练,w1是" % i)
            print(sess.run(w1))
    print("最后w1是")
    print(sess.run(w1))

这里只改变了参数
最后w1是
[[1.037331 ]
[1.0162693]],参数都是大于1,是往大了预测

交叉熵可以表征两个概率之间分布的距离
交叉熵大,分布远;交叉熵小,分布近

ce=-tf.reduce_mean(y_*tf.log(tf.clip_by_value(y,1e-12,1.0)))

在这里插入图片描述

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值