单层神经网络实现

0. 前言

前面对神经网络的优化算法—梯度下降进行了说明，下面希望python实现神经网络的学习过程。

1. 问题描述

假设某种物体有长、宽、高3个属性，根据这三个属性可以判定属于0这类还是1这类。

长	宽	高	类别
0	0	1	0
1	1	1	1
1	0	1	1
0	1	1	0

把上面的场景用神经网络结构表示就是：

2. 实现步骤

1. 初始化权重(weight, w)
2. 计算结果
3. 根据误差反向调整权值
4. 迭代

3. 代码实现

import numpy as np
# 数据
X = np.array([[0, 0, 1], [1, 1, 1], [1, 0, 1], [0, 1, 1]])
y = np.array([[0, 1, 1, 0]]).T

# 设置权重
np.random.seed(1)  # 让每次生成的随机数相同
weight = np.random.random((3, 1)) * 2 -1 # 生成3个随机数，随机数在-1到1之间

# 迭代
for iter_num in range(10000):
    z = np.dot(X, weight)  # 点乘，即矩阵乘法
    # print("z：", z)
    output = 1 / (1 + np.exp(-z))  # 使用sigmoid函数将值压缩在0-1之间
    # print("输出结果：", output)
    # 误差
    error = y - output  # 计算结果与实际结果的误差
    slope = output * (1 - output)  # 斜率
    delta = error * slope  # 增量
    # 更新weight
    weight = weight + np.dot(X.T, delta)
print("最终的weights：\n", weight)

输出结果

最终的weights：
 [[ 9.67299303]
 [-0.2078435 ]
 [-4.62963669]]

4. 代码重构

上面的代码是顺着写的整个过程，其中的一些可以提出来写成一个函数，所以可以重新整理成下面的样子：

import numpy as np


def fp(X):
    """正向传播"""
    z = np.dot(X, weight)  # 点乘，即矩阵乘法
    output = 1 / (1 + np.exp(-z))  # 使用sigmoid函数将值压缩在0-1之间
    return output


def bp(y, output):
    """反向计算增量"""
    error = y - output  # 计算结果与实际结果的误差
    slope = output * (1 - output)  # 斜率
    delta = error * slope  # 增量
    return delta


# 数据
X = np.array([[0, 0, 1], [1, 1, 1], [1, 0, 1], [0, 1, 1]])
y = np.array([[0, 1, 1, 0]]).T

# 设置权重
np.random.seed(1)  # 让每次生成的随机数相同
weight = np.random.random((3, 1)) * 2 -1 # 生成3个随机数，随机数在-1到1之间

# 迭代
for iter_num in range(10000):
    output = fp(X)
    delta = bp(y, output)
    # 更新weight
    weight = weight + np.dot(X.T, delta)
print("最终的weights：\n", weight)

"""此处进行一个预测"""
X_test = np.array([[1, 1, 0]])
y = fp(X_test)
print("预测结果：", y)

输出结果：

最终的weights：
 [[ 9.67299303]
 [-0.2078435 ]
 [-4.62963669]]
预测结果： [[0.9999225]]