Tensorflow笔记-搭建神经网络

参考链接：https://www.icourse163.org/learn/PKU-1002536002?tid=1002700003#/learn/content?type=detail&id=1003976116&sm=1

搭建神经网络，总结搭建八股

一、基本概念

基于 Tensorflow 的 NN：用张量表示数据，用计算图搭建神经网络，用会话执 行计算图，优化线上的权重（参数），得到模型。

张量：张量就是多维数组（列表），用“阶”表示张量的维度。

数据类型：Tensorflow 的数据类型有 tf.float32、tf.int32 等。

计算图（Graph）：搭建神经网络的计算过程，是承载一个或多个计算节点的一 张图，只搭建网络，不运算。

举例 神经网络的基本模型是神经元，神经元的基本模型其 实就是数学中的乘、加运算。我们搭建如下的计算图：

x1、x2 表示输入，w1、w2 分别是 x1 到 y 和 x2 到 y 的权重，y=x1*w1+x2*w2。 我们实现上述计算图：

可以打印出这样一句话：Tensor(“matmul:0”, shape(1,1), dtype=float32)， 从这里我们可以看出，print 的结果显示 y 是一个张量，只搭建承载计算过程的 计算图，并没有运算，如果我们想得到运算结果就要用到“会话 Session()”了。

会话（Session）：执行计算图中的节点运算。

with tf.Session() as sess:
    print sess.run(y) 

二、神经网络的参数

神经网络的参数：是指神经元线上的权重 w，用变量表示，一般会先随机生成 这些参数。

生成参数的方法是让w等于tf.Variable，把生成的方式写在括号里。 神经网络中常用的生成随机数/数组的函数有：

tf.random_normal() 生成正态分布随机数

tf.truncated_normal() 生成去掉过大偏离点的正态分布随机数

tf.random_uniform() 生成均匀分布随机数

tf.zeros 表示生成全 0 数组

tf.ones 表示生成全 1 数组

tf.fill 表示生成全定值数组

tf.constant 表示生成直接给定值的数组

三、神经网络的搭建

当我们知道张量、计算图、会话和参数后，我们可以讨论神经网络的实现过程了。

神经网络的实现过程：

1、准备数据集，提取特征，作为输入喂给神经网络（Neural Network，NN）

2、搭建 NN 结构，从输入到输出（先搭建计算图，再用会话执行） （ NN 前向传播算法 计算输出）

前向传播就是搭建模型的计算过程，让模型具有推理能力，可以针对一组输入 给出相应的输出

举例 假如生产一批零件，体积为 x1，重量为 x2，体积和重量就是我们选择的特征， 把它们喂入神经网络，当体积和重量这组数据走过神经网络后会得到一个输出。

假如输入的特征值是：体积 0.7 重量 0.5

由搭建的神经网络可得，隐藏层节点 a11=x1* w11+x2*w21=0.14+0.15=0.29，同 理算得节点 a12=0.32，a13=0.38，最终计算得到输出层 Y=-0.015，这便实现了 前向传播过程。

3、大量特征数据喂给 NN，迭代优化 NN 参数 （ NN 反向传播算法 优化参数训练模型）

反向传播：训练模型参数，在所有参数上用梯度下降，使 NN 模型在训练数据 上的损失函数最小。

损失函数（loss）：计算得到的预测值 y 与已知答案 y_的差距。 损失函数的计算有很多方法，均方误差 MSE 是比较常用的方法之一。

均方误差 MSE：求前向传播计算结果与已知答案之差的平方再求平均。

用 tensorflow 函数表示为：

loss_mse = tf.reduce_mean(tf.square(y_ - y))

√反向传播训练方法：以减小 loss 值为优化目标，有梯度下降、momentum 优化 器、adam 优化器等优化方法。

这三种优化方法用 tensorflow 的函数可以表示为：

train_step=tf.train.GradientDescentOptimizer(learning_rate).minimize(loss)

train_step=tf.train.MomentumOptimizer(learning_rate, momentum).minimize(loss)

train_step=tf.train.AdamOptimizer(learning_rate).minimize(loss)

学习率：决定每次参数更新的幅度。

优化器中都需要一个叫做学习率的参数，使用时，如果学习率选择过大会出现震 荡不收敛的情况，如果学习率选择过小，会出现收敛速度慢的情况。我们可以选 个比较小的值填入，比如 0.01、0.001。

4、使用训练好的模型预测和分类

 

四、搭建神经网络的八股