实例分析神经网络传播过程

• 神经网络简介
• 博客主要内容
• 神经网络框架
• 神经网络前向传播实例
• 神经网络反向传播实例
• 总结
• 引用

一.神经网络简介

今天，神经网络(nerual networks)已经是一个相当大的、多学科交叉的学科领域[1]。它不能用简单的用“一个算法”，“一个框架”，来总结它的内容。从早期神经元(neuron),到感知器(Perceptron),再到Bp神经网络，然后到今天的深度学习(deep learning)，这是它的大致的一个演变的过程。虽然不同的年代换了不同的说法，不过，大致的思想，比如前向数值传播，反向误差传播等思想是大体一致的。

二.主要内容

本博客主要详细介绍神经网络的前向传播和误差的传播过程，通过简单的只有单层隐藏层的神经网络，然后利用详细的数值实例来进行演示。而且，每一个步骤，博主都提供了tensorflow[2]的实现代码。

三.神经网络框架

图1-单隐藏层的NN

对于一个神经元有

tensorflow的代码

def multilayer_perceptron(x , weights , bias):
    layer_1 = tf.add(tf.matmul(x , weights["h1"]) , bias["b1"])
    layer_1 = tf.nn.sigmoid(layer_1)
    out_layer = tf.add(tf.matmul(layer_1 , weights["out"]) , bias["out"])
    layer_2 = tf.nn.sigmoid(out_layer)
    return layer_2

四.神经网络前向传播实例

(1)确定输入数据和GD

X = [[1 , 2] , [3 , 4]]
Y = [[0 , 1] , [0 , 1]]

很明显 batch_size = 2. 其中第一次batch_size
X1 = 1
X2 = 2

(2)初始化权重和偏执

从图1看出 weights数目为8 偏执为4

weights = {
    'h1': tf.Variable([[0.15 , 0.