多层神经网络

0. 前言

前面对单层神经网络的过程进行了实现，下面想对多层的神经网络进行说明。

1. 网络结构

多个神经元，多层网络。
下面是一个输入层，一个隐藏层，一个输出层：

从上面的网络结构可以看到，此时的w就比单层的复杂了。在输入层到隐藏层有$3\ast 4=12$个w，隐藏层到输出层有$4\ast 1=4$个w。

多层与单层很相似，通过输入数据与w相乘得到计算结果，再通过神经元中的激活函数后得到一个值，继续向下一层传递；最终得到输出后，也会通过误差来反向调整w。

2. 实现过程

import numpy as np


def fp(X):
    """正向传播"""
    layer1 = 1 / (1 + np.exp(-np.dot(X, w0)))  # 第一层的值
    layer2 = 1 / (1 + np.exp(-np.dot(layer1, w1)))  # 第二层的值
    # print("layer1: ", layer1)
    # print("layer2: ", layer2)
    return layer1, layer2


def bp(layer1, layer2, y):
    """反向计算增量"""
    layer1_error = y - layer2  # 计算结果与实际结果的误差
    layer1_slope = layer2 * (1 - layer2)  # 斜率
    layer1_delta = layer1_error * layer1_slope  # 增量
    layer0_error = layer1_delta.dot(w1.T)
    layer0_slope = layer1 * (1- layer1)
    layer0_delta = layer0_error * layer0_slope
    return layer0_delta, layer1_delta


# 数据
X = np.array([[0, 0, 1], [1, 1, 1], [1, 0, 1], [0, 1, 1]])
y = np.array([[0, 0, 1, 1]]).T

# 设置权重
np.random.seed(1)  # 让每次生成的随机数相同
w0 = np.random.random((3, 4)) * 2 -1 # 生成12个随机数，随机数在-1到1之间
w1 = np.random.random((4, 1)) * 2 -1 # 生成4个随机数，随机数在-1到1之间

# 迭代
for iter_num in range(10000):
    layer0 = X
    layer1, layer2 = fp(layer0)
    layer0_delta, layer1_delta = bp(layer1, layer2, y)
    # print(layer0_delta, "\n", layer1_delta)
    # 更新weight
    w1 = w1 + np.dot(layer1.T, layer1_delta)
    w0 = w0 + np.dot(layer0.T, layer0_delta)
# print("最终的weights：\n", weight)

"""此处进行一个预测"""
layer0_test = np.array([[0, 1, 1]])
y = fp(layer0_test)
print("预测结果：", y[1])

输出结果：

预测结果： [[0.99101005]]

代码中关于斜率部分，即对函数求导结果可以参考sigmoid函数求导证明。