Tensorflow框架-前向传播

神经网络的参数
神经网络的参数：是指神经元线上的权重w，用变量表示，一般会先随机生成这些参数。生成参数的方法是让w等于tf.variable，把生成的方式写在括号里。

神经网络中常用的生成随机数/数组的函数有：
tf.random_normal() 生成正态分布随机数
tf.truncated_normal() 生成去掉过大偏离点的正态分布随机数
tf.random_uniform() 生成均匀分布随机数
tf.zeros 表示生成全0数组
tf.ones 表示生成全1数组
tf.fill 表示生成全定值数组
tf.constant 表示生成直接给定的数组
举例：
1)w=tf.Variable(tf.random_normal([2,3],stddev=2,mean=0,seed=1))，表示生成正态分布随机数，形状两行三列，标准差是2，均值是0，随机种子是1。
2)w=tf.Variable(tf.Truncated_normal([2,3],stddev=2,mean=0,seed=1))，表示去掉偏离过大的正态分布，也就是如果随机出来的数据偏离平均值超过两个标准差，这个数据将重新生成。
3)w=random_uniform(shape=7,minval=0,maxval=1,dtype=tf.int32,seed=1)，表示从一个均匀分布[minval,maxval)中随机采样，注意定义域是左闭右开，即包含minval，不包含maxval。
4)除了生成随机数，还可以生成常量。**tf.zeros([3,2],int32)**表示生成[[0,0],[0,0],[0,0]]；**tf.ones([3,2],int32)**表示生成[[1,1],[1,1],[1,1]]；tf.fill([3,2],6) 表示生成[[6,6],[6,6],[6,6]]；**tf.constant([3,2,1])**表示生成[3,2,1]。
注意：1、随机种子如果去掉每次生成的随机数将不一致。
2、如果没有特殊要求标准差、均值、随机种子是可以不写的。

神经网络的搭建

当我们知道张量、计算图、会话和参数后，我们可以讨论神经网络的实现过程了。
神经网络的实现过程：
1、准备数据集，提取特征，作为输入喂给神经网络(Neural Network,NN)
2、搭建NN结构，从输入到输出（先搭建计算图，在用会话执行）
（NN前向传播算法 --> 计算输出）
3、大量特征数据喂给NN，迭代优化参数
（NN反向传播算法 --> 优化参数训练模型）
4、使用训练好的模型预测和分类

由此可见，基于神经网络的机器学习主要分为两个过程，即训练过程和使用过程。训练过程是第一步、第二步、第三步的循环迭代，使用过程是第四步，一旦参数优化完成就可以固定这些参数，实现特定应用了。
很多实际应用中，我们会先使用现有的成熟网络结构，喂入新的数据，训练相应模型，判断是否能对喂入的从未见过的新数据作出正确响应，在适当更改网络结构，反复迭代，让机器自动训练参数找出最优结构和参数，以固定专用模型。

小插曲 Ctrl + 空格 按键切换vim里面的中英文。

前向传播
前向传播就是搭建模型的计算过程，让模型具有推理能力，可以针对一组输入给出相应的输出。
举例
假如生产一批零件，体积为x1，重量为x2，体积和重量就是我们选择的特征，把它们喂入神经网络，当体积和重量这组数据走过神经网络后会得到一个输出。
假如输入的特征值是：体积0.7，重量0.5

由搭建的神经网络可得，隐藏层节点a11=x1w11+x2w21=0.14+0.15=0.29，同理算得节点a12=0.32,a13=0.38，最终计算得到输出层Y=-0.015，这便实现了前向传播过程。

推导
x是输入为1×2矩阵
用x表示输入，是一个1行2列矩阵，表示一次输入一组特征，这组特征包含了体积和重量两个元素。

对于第一层的w，前面有两个节点，后面有三个节点，w应该是个两行三列矩阵，我们这样表示：

神经网络共有几层（或当前是第几层网络）都是指的计算层，输入不是计算层，所以a为第一层网络，a是一个一行三列矩阵。

我们这样表示：

第二层

我们这样表示：

我们把每层输入乘以线上的权重w，这样用矩阵乘法可以计算出输出y了。
a = tf.matmul(X,W1)
y = tf.matmul(a,W2)
由于需要计算结果，就要用with结构实现，所有变量初始化过程、计算过程都要放到 sess.run 函数中。对于变量初始化，我们在 sess.run 中写入tf.global_variables_initializer实现对所有变量初始化，也就是赋初值。对于计算图中的运算，我们直接把运算节点填入sess.run即可，比如要计算输出y，直接写sess.run(y)即可。
在实际应用中，我们可以一次喂入一组或多组输入，让神经网络计算输出y，可以先用tf.placeholder给输入占位。如果一次喂一组数据shape的第一维位置写1，第二维位置看有几个输入特征；如果一次想喂多组数据，shape的第一维位置可以写None表示先空着，第二维位置写有几个输入特征。这样在feed_dict中可以喂入若干组体积重量了。

前向传播过程的tensorflow描述：

变量初始化、计算图节点运算都要用会话（with结构）实现
with tf.Session() as sess:
sess.run()
变量初始化：在sess.run函数中用tf.global_variables_initializer()汇总所有待优化变量。
init_op = tf.global_variables_initializer()
sess.run(init_op)

计算图节点运算：在sess.run函数中写入待运算的节点
sess.run(y)

用t f.placeholder 占位，在 sess.run 函数中用 feed_dict喂数据
喂一组数据：
x = tf.placeholder(tf.float32,shape=(1,2))
sess.run(y,fees_dict={x:[[0.5,0.6]]})
喂多组数据：
x = tf.placeholder(tf.float32,shape=(None,2))
sess.run(y,feed_dict={x:[[0.1,0.2],[0.2,0.3],[0.3,0.4],[0.4,0.5]]})

举例
这是一个实现神经网络前向传播过程，网络可以自动推理出输出y的值。
1）用placeholder实现输入定义（sess.run中喂入一组数据）的情况
第一组喂体积0.7、重量0.5

#coding:utf-8
import tensorflow as tf
#定义输入和参数
x = tf.placeholder(tf.float32,shape=(1,2))
w1 = tf.Variable(tf.random_nordom([2,3],stddev=1,seed=1))
w2 = tf.Variable(tf.random_normal([3,1],stddev=1,seed=1))
#定义向前传播过程
a = tf.matmul(x,w1)
y = tf.matmul(a,w2)
#用会话计算结果
with tf.Session() as sess:
	init_op = tf.global_variables_initializer()
	sess.run(init_op)
	print "y in tf3_3.py is:\n",sess.run(y,feed_dict={x:[[0.7,0.5]]})

2)用 placeholder 实现输入定义 (sess.run中喂入多组数据)的情况
第一组喂体积0.7、重量0.5，第二组喂体积0.2、重量0.3，第三组喂体积0.3、重量0.4，第四组喂体积0.4、重量0.5

import tensorflow as tf
#定义输入和参数
x = tf.placeholder(tf.float32,shape=(1,2))
w1 = tf.Variable(tf.random_nordom([2,3],stddev=1,seed=1))
w2 = tf.Variable(tf.random_normal([3,1],stddev=1,seed=1))
#定义向前传播过程
a = tf.matmul(x,w1)
y = tf.matmul(a,w2)
#用会话计算结果
with tf.Session() as sess:
	init_op = tf.global_variables_initializer()
	sess.run(init_op)
	print "y in tf3_3.py is:\n",sess.run(y,feed_dict={x:[[0.7,0.5],[0.2,0.3],[0.3,0.4],[0.4,0.5]]})