TensorFlow学习笔记-02--建造我们第一个神经网络

二、建造我们第一个神经网络

1、添加神经层 def add_layer()

添加神经层，需要权重Weights，偏差biases，激励函数。
关键部分是确定好权重Weights、偏差biases的shape。示例代码如下：

def add_layer(inputs, in_size, out_size, activation_function=None):
    Weights = tf.Variable(tf.random_normal([in_size, out_size]))
    biases = tf.Variable(tf.zeros([1, out_size]) + 0.1)
    Wx_plus_b = tf.matmul(inputs, Weights) + biases
    if activation_function is None:
        outputs = Wx_plus_b
    else:
        outputs = activation_function(wx_plus_b)
    return outputs

2、建造神经网络

这一节主要详细列举了一下，如何使用第一节定义的神经层，如何正确使用tf.placeholder等以前学过的内容，去建造神经网络，在最后能够正确输出误差的具体数值。

通过学习这一节，主要收获如下：
（1）tf.squre() 与np.squre()不同，第一个得到的是一个tensor，第二个得到的与输入的类型一样。
（2）在建造神经网络的时候注意使用placeholder，不然在后面如果没有feed_dict，会出现报错现象
本节代码比较多,就不进行展示了，可以直接参考此处。

3、结果可视化

这次结果终于出来了，散点图的趋势也正确，红色动态图也出来了，最后的图也能够保存下来，没有出现闪退的显现，不得不说评论区的大佬真多！
首先是构建散点图：

# plot the real data
fig = plt.figure()
ax = fig.add_subplot(1, 1, 1)
ax.scatter(x_data, y_data)
plt.show()

plt.ion()	# 这是用于连续显示的，就是后面要求把整个动态的调整过程一直显示出来，我们可以看出是如何调整的，所以就得一直显示

每隔50次训练刷新一次图形，用红色、宽度为5的线来显示我们的预测数据和输入之间的关系，并暂停0.1s。

for i in range(1000):
    sess.run(train_op, feed_dict={xs: x_data, ys: y_data})
    if i % 50 == 0:
        # print(sess.run(loss, feed_dict={xs: x_data, ys: y_data}))
        try:
            ax.lines.remove(lines[0])
        except Exception:
            pass
        prediction_value=sess.run(prediction,feed_dict={xs:x_data})
        lines=ax.plot(x_data,prediction_value,'r-',lw=5)
        plt.pause(0.1)

然后运行就可以出现视频讲解的动态效果了。
（1）如果是不能展示出红色的动态效果，在pycharm里面的进行设置处理一下
setting→python scientific→取消“show plots”
（2）如果是最后会闪退，不能保持图行
在代码最后加上：

plt.pause(0)

就很好的解决了！

4、加速神经网络训练（speed up training）

这一节主要讲了一下几种加速神经网络训练的方法，主要是通过改变传统参数W的更新方式

0)、传统的参数W更新公式为：

其中：
learning rate：为学习率
dx：为校正值

1)、 Stochastic Gradient Descent（SGD）

这是一种最基础的训练方法。在训练的时候通常有大批的数据要进行训练，而把这些数据拆分成小批小批，然后再放入神经网络中进行训练，相比之前速度就会提高不少，而且在准确率方面也不会相差太多。这就是随机提丢下降（SGD）训练方法。

2)、 Momentum

改变神经网络参数W的更新方法：

这里莫烦把它称之为类似于把一个喝醉的人放到一个斜坡上。

3)、 AdaGrad

改变学习率，使得每一个参数更新都有自己不同的学习率：

莫烦称这种方法类似于给喝醉的人一双不好走路的鞋子。

4)、 RMSProp

把第二种和第三种方法结合起来（但是不完全是）：

5)、 Adam

将第二种和第三种方法完全结合起来：

这样在计算m时又momentum下坡的属性，计算v时有adagrad阻力的属性，在更新参数时把m和v都考虑进去，这样训练的速度又快又好，训练可以迅速收敛。