深度学习tensorflow 学习笔记二 反向传播

目录

1. 反向传播（back propogation）

2. 损失函数（loss）

3. 反向传播训练方法

4. 搭建一个简单的神经网络的步骤

5.代码示例

---

1. 反向传播（back propogation）

 训练模型参数，在所有的参数上使用梯度下降或其他方法，使NN模型在训练数据上的损失函数最小。

需要的步骤：定义损失函数和 反向传播方法

2. 损失函数（loss）

预测值y与已知答案y'的差距，损失函数主要包含三种 mse、ce 和自定义。

比如：均方误差MSE ： loss = tf.reduce_mean(tf.square(y'-y))

交叉熵（cross entropy）：表征两个概率分布之间的距离 

ce = -tf.reduce_mean(y' *tf.log(tf.clip_by_value(y, 1e-12, 1.0)))  #y小于1e-12为1e-12，y大于1.0为1.0

3. 反向传播训练方法

以减小loss值为优化目标，三种常见的训练方法：

train_step = tf.train.GradientDescentOptimizer(学习率).minimize(loss)
train_step = tf.train.MomentumOptimizer(学习率, momentum).minimize(loss)
train_step = tf.train.AdamOptimizer(学习率).minimize(loss)

学习率：决定参数每次更新的幅度

4. 搭建一个简单的神经网络的步骤

八股：准备、前传、后传、迭代

（1）准备：import 模块， 定义常量，生成数据集

（2）前向传播：定义输入x， y‘，参数w1, w2, 和输出a， y

（3）后向传播：定义损失函数、和反向传播训练方法

（4）生成会话，训练step轮

5.代码示例

#coding:utf-8
#0.导入模块，定义常量，生成模拟数据集
import tensorflow as tf
import numpy as np
BATCH_SIZE = 8
seed = 23455

#基于seed产生随机数
rng = np.random.RandomState(seed)
#随机数返回32行2列的矩阵 表示32组 体积和重量 作为输入数据集
X = rng.rand(32,2)
#从X这个32行2列的矩阵中 取出一行 判断如和小于1 给y赋值1， 如果和不小于1，则给y赋值0
#作为输入数据的标签（正确答案）
Y = [[int(x0+x1<1)] for (x0,x1) in X]
print (X)
print (Y)

#1. 定义神经网络的输入、参数和输出，定义前向传播过程
x = tf.placeholder(tf.float32, shape = (None, 2))
y_ = tf.placeholder(tf.float32, shape = (None, 1))

w1 = tf.Variable (tf.random_normal([2,3], stddev = 1, seed = 1))
w2 = tf.Variable (tf.random_normal([3,1], stddev = 1, seed = 1))

a = tf.matmul (x, w1)
y = tf.matmul (a, w2)

#2. 定义loss及反向传播方法
loss = tf.reduce_mean (tf.square(y-y_))
train_step = tf.train.GradientDescentOptimizer(0.001).minimize(loss)
#另外两种训练方法
#train_step = tf.train.MomentumOptimizer(0.001, 0.9).minimize(loss)
#train_step = tf.train.AdamOptimizer(0.001).minimize(loss)

#3. 生成会话，训练Steps轮
with tf.Session() as sess:
    init_op = tf.global_variables_initializer()
    sess.run(init_op)
    #输出目前（未经训练)的参数取值
    print ("w1: %s"% sess.run(w1))
    print ("w2: %s"% sess.run(w2))

    STEPS = 3000
    for i in range (STEPS):
        start = (i*BATCH_SIZE)%32
        end = start + BATCH_SIZE
        sess.run (train_step, feed_dict = {x: X[start:end], y_:Y[start:end]})
        if i %500 ==0 :
            total_loss = sess.run (loss, feed_dict = { x: X, y_: Y})
            print ("After %d training steps,loss is %s" % (i, total_loss) )

    #输出训练后的参数取值
    print ("\n")
    print ("w1: %s\n"% sess.run(w1))
    print ("w2: %s\n"% sess.run(w2))

运行结果：