TensorFlow--(二)前向传播算法

前向传播算法 forward-propagation

三层全连接网络

有两个输入,一个是零件的长度$x_1$,一个是零件的质量$x_2$

有三个神经元(节点)$a_{11},a_{12},a_{13}$

有一个输出y

输入层与隐藏层之间的参数是$W^{(1)}$

隐藏层与输出层之间的参数是$W^{(2)}$

参数$W$表示神经元(节点)的参数,其中上标表明了神经元的层数,下标表明了连接节点编号

$W^{(1)}$表示第一层节点的参数,$W_{1,2}^{(1)}$表示$x_1$和$a_{12}$节点边上的权重

$W^{(2)}$表示第二层节点的参数

$$\begin{gathered} W^{(1)}=\left[\begin{array}{ccc}{W}_{1,1}^{(1)}& W_{1,2}^{(1)}& W_{1,3}^{(1)}\\ W_{2,1}^{(1)}& W_{2,2}^{(1)}& W_{2,3}^{(1)}\end{array}\right] \\ {a}^{(1)}=\left[\begin{array}{ccc}{a}_{11},& a_{12},& a_{13}\end{array}\right] \end{gathered}$$

$$x{W}^{(1)}=\left[\begin{array}{cc}{x}_1,& x_2\end{array}\right]\left[\begin{array}{ccc}{W}_{1,1}^{(1)}& W_{1,2}^{(1)}& W_{1,3}^{(1)}\\ W_{2,1}^{(1)}& W_{2,2}^{(1)}& W_{2,3}^{(1)}\end{array}\right]=\left[\begin{array}{c}{W}_{1,1}^{(1)}{x}_1+W_{2,1}^{(1)}{x}_2,W_{1,2}^{(1)}{x}_1+W_{2,2}^{(1)}{x}_2,W_{1,3}^{(1)}{x}_1+W_{2,3}^{(1)}{x}_2\end{array}\right]$$

$$\left[\begin{array}{c}y\end{array}\right]=a^{(1)}{W}^{(2)}=\left[\begin{array}{ccc}{a}_{11},& a_{12},& a_{13}\end{array}\right]\left[\begin{array}{c}{W}_{1,1}^{(2)}\\ W_{2,1}^{(2)}\\ W_{3,1}^{(2)}\end{array}\right]=\left[\begin{array}{c}{W}_{1,1}^{(1)}{a}_{11}+W_{2,1}^{(2)}{a}_{12}+W_{3,1}^{(2)}{a}_{13}\end{array}\right]$$

import tensorflow as tf

#声明 w1,w2 两个变量,还通过seed参数设置了随机种子
w1= tf.Variable(tf.random_normal([2, 3], stddev=1, seed=1))    #2x3矩阵,2行3列
w2= tf.Variable(tf.random_normal([3, 1], stddev=1, seed=1))    #3x1矩阵,3行1列
#将输入的特征向量定义为一个常量
x = tf.constant([[0.7, 0.9]])


a = tf.matmul(x, w1)
y = tf.matmul(a, w2)

sess = tf.Session()
sess.run(w1.initializer)    #初始化w1
sess.run(w2.initializer)    #初始化w2
print(sess.run(y))  
sess.close()

[[3.957578]]

tf.Variable() 作用是保存和更新神经网络中的参数

tf.random_normal([2,3],stddev=2)会产生一个2x3的矩阵,矩阵中的元素是均值为0,标准差为2的随机数

print(tf.random_normal([2,3],stddev=1,seed=1))

Tensor("random_normal_2:0", shape=(2, 3), dtype=float32)

通过placeholder实现前向传播算法

TensorFlow 提供了 placeholder 机制用于提供输入数据.
placeholder相当于定义了一个位置,这个位置中的数据在程序运行时再指定.
这样在程序运行中就不需要生成大量常量来提供输入数据,而只需要将数据通过placeholder传入TensorFlow计算图
在placeholder定义时, 这个位置上的数据类型是需要指定的.和其他张量一样, placeholder的类型也是不可以改变的.
placeholder中数据的维度信息可以根据提供的数据推导得出,所以不一定要给出

import tensorflow as tf
w1= tf.Variable(tf.random_normal([2, 3], stddev=1, seed=1))    #2x3矩阵,2行3列
w2= tf.Variable(tf.random_normal([3, 1], stddev=1, seed=1))    #3x1矩阵,3行1列

# 定义placeholder作为存放输入数据的地方.这里维度也不一定要定义.但如果维度是确定的,那么给出维度可以降低出错的概率
x = tf.placeholder(tf.float32, shape=(1, 2), name="input")     #1x2矩阵,1行2列
a = tf.matmul(x, w1)
y = tf.matmul(a, w2)

sess = tf.Session()
init_op = tf.global_variables_initializer()  
sess.run(init_op)

print(sess.run(y, feed_dict={x: [[0.7,0.9]]}))  #feed_dict是一个字典,在字典中需要给出每个用到的placeholder的取值

sess.close()

[[3.957578]]

一次性计算多个例子的前向传播结果

import tensorflow as tf
w1= tf.Variable(tf.random_normal([2, 3], stddev=1, seed=1))    #2x3矩阵,2行3列
w2= tf.Variable(tf.random_normal([3, 1], stddev=1, seed=1))    #3x1矩阵,3行1列

# 定义placeholder作为存放输入数据的地方.这里维度也不一定要定义.但如果维度是确定的,那么给出维度可以降低出错的概率
x = tf.placeholder(tf.float32, shape=(3, 2), name="input")     #3x2矩阵,3行2列
a = tf.matmul(x, w1)
y = tf.matmul(a, w2)

sess = tf.Session()
init_op = tf.global_variables_initializer()  
sess.run(init_op)

print(sess.run(y, feed_dict={x: [[0.7,0.9],[0.1,0.4],[0.5,0.8]]}))  #feed_dict是一个字典,在字典中需要给出每个用到的placeholder的取值

sess.close()

[[3.957578 ]
 [1.1537654]
 [3.1674924]]