【TensorFlow】如何用TensorFlow写一个最基本的神经网络？（第一课）

目录

用TensorFlow写一个最基本的神经网络！

1、计算图（计算模型）

什么是计算图？怎么用？

2、张量（数据模型）

2.1、一般直接输出的计算结果，是一个张量的结构。主要包含三个属性：name，shape，type。

2.2、张量也可以用来获取计算结果，也就是真实的数字。语句：

3、会话（运行模型）

4、开始吧，你的第一个神经网络！

4.1、神经网络简介

4.2、前向传播算法

4.3、神经网络参数和TensorFlow变量

4.4、如何训练神经网络？

反向传播算法的流程图：

【补充知识点】palaceholder：当时不算出常量，到算结果时提供数据。

4.5、完整神经网络样例程序

网络结构：

代码：

---

用TensorFlow写一个最基本的神经网络！

这是最基本的网络结构，你会写吗？

先看完1，2，3节了解一下基本概念，然后在第4节看代码。

1、计算图（计算模型）

什么是计算图？怎么用？

简单说就是计算的定义。

计算图是tensorflow的计算模型，它可以用来隔离和管理张量和计算。

简单说，就是可以每次只计算一个计算图，而且同名变量在不同计算图中也不同。

tf.Graph()生成，with语句管理。(with语句利用上下文管理器来包装要执行的代码块，刚好与计算图的功能吻合)

不在自己定义的计算图里的计算，系统会自动维护一个默认的计算图，通过tf.get_default_graph函数就可以获取当前默认的计算图。

import tensorflow as tf
a = tf.constant([1.0,2.0],name = 'a')
b = tf.constant([2.0,3.0],name = 'b')
result = a+b
print(result)

#通过a.graph可以查看张量所属的计算图，因为没有指定，所以这个计算图应该等于当前默认的计算图
print(a.graph is tf.get_default_graph()) #结果为True

 

2、张量（数据模型）

张量可以简单的理解为多维数组。其中零阶张量表示为标量（scalar），一阶张量表示为向量（vector），也就是一维数组；但是张量在实现中，并不真正保存数字，而是保存的是如何得到这些数字的计算过程。

2.1、一般直接输出的计算结果，是一个张量的结构。主要包含三个属性：name，shape，type。

import tensorflow as tf
a = tf.constant([1.0,2.0],name = 'a')
b = tf.constant([2.0,3.0],name = 'b')
result = a+b
print(result)
'''输出：Tensor('add:0',shape=(2,),dtype = float32)'''

2.2、张量也可以用来获取计算结果，也就是真实的数字。语句：

tf.Session().run(result)

 

3、会话（运行模型）

简单说就是计算的执行。

每一个会话管理着一个资源集合。

可以通过以下方式指定会话运行哪个图。（其中一张图可以分别被N个Session运行，而N张图不能同时运行在一个Session内）

sess = tf.Session(graph=g)

 

4、开始吧，你的第一个神经网络！

https://playground.tensorflow.org

4.1、神经网络简介

此图输入为一维张量，一般图片为三维张量。

横着叫层数，竖着叫神经元，方块是节点（中间的节点就是中间量）。

每条线一个参数，so many参数，这也是为什么能拟合那么多函数得原因。

由最后得输出层y值判定类别。

简言之，使用神经网络解决问题可以分为以下四个步骤：

（1）提取特征。

（2）定义神经网络的结构（前向传播算法）

（3）通过训练数据来调整神经网络中参数得取值。

（4）使用训练好得网络进行预测。

4.2、前向传播算法

就是确定网络结构，这个网络结构就是前向传播算法。

全连接层、卷积层、LSTM。

简单说下前向传播、反向传播：

（1）前向传播就是顺着过去得到loss值。

（2）反向传播是根据loss值，结合优化器、学习率来优化参数。

4.3、神经网络参数和TensorFlow变量

参数、变量的定义与计算。

4.4、如何训练神经网络？

神经网络优化算法中，最常见的就是反向传播算法。

反向传播算法的流程图：

有两点注意一下：

（1）每一次训练中，是将训练集的一部分输入计算，而不是全部训练集，这一部分叫做batch。

（2）退出训练的条件：次数达到要求，或者loss达到要求。

【补充知识点】palaceholder：当时不算出常量，到算结果时提供数据。

x=tf.palceholder(tf.float32,shape=(3,2),name="input")
...
print(sess.run(y,feed_dict={x:[[0.7,0.9],[0.1,0.4],[0.5,0.8]]}))

4.5、完整神经网络样例程序

网络结构：

代码：

import tensorflow as tf
from numpy.random import RandomState

batch_size = 8  # 反向传播的batch数

w1 = tf.Variable(tf.random_normal([2, 3], stddev=1, seed=1))
w2 = tf.Variable(tf.random_normal([3, 1], stddev=1, seed=1))

x = tf.placeholder(tf.float32, shape=(None, 2), name='x-input')
y_ = tf.placeholder(tf.float32, shape=(None, 1), name='y-input')

# 定义神经网络前向传播过程
a = tf.matmul(x, w1)
y = tf.matmul(a, w2)

# 定义损失函数和反向传播算法
cross_entropy = -tf.reduce_mean(y_ * tf.log(tf.clip_by_value(y, 1e-10, 1.0)))  # 损失函数
# 反向传播算法，一步到位
train_step = tf.train.AdamOptimizer(0.001).minimize(cross_entropy)  

# 通过随机数生成一个模拟数据集，一般这个是自己采集的
rdm = RandomState(1)
dataset_size = 128
X = rdm.rand(dataset_size, 2)
Y = [[int(x1 + x2 < 1)] for (x1, x2) in X]

# 创建一个会话来运行tensorflow程序
with tf.Session() as sess:
    init_op = tf.initialize_all_variables()
    sess.run(init_op)
    print(sess.run(w1))
    print(sess.run(w2))

    STEPS = 5000
    for i in range(STEPS):
        start = (i * batch_size) % dataset_size
        end = min(start + batch_size, dataset_size)

        # 通过选取的样本训练神经网络并更新参数
        sess.run(train_step, feed_dict={x: X[start:end], y_: Y[start:end]})
        if i % 1000 == 0:
            # 每隔一段时间计算在所有数据上的交叉熵并输出，交叉熵越小说明预测的结果和真实的结果差距越小
            total_cross_entropy = sess.run(
                cross_entropy, feed_dict={x: X, y_: Y})
            print("After %d training step,cross entropy on all data is %g" % (i, total_cross_entropy))
    print(sess.run(w1))
    print(sess.run(w2))