手撕bp——基于sigmoid的前向传播与反向传播推导

最新推荐文章于 2024-03-14 11:30:12 发布

xiaoY322

最新推荐文章于 2024-03-14 11:30:12 发布

阅读量853

点赞数 2

本文链接：https://blog.csdn.net/weixin_56184890/article/details/116171517

版权

该博客详细介绍了如何手动推导和实现一个包含Sigmoid激活函数的神经网络的前向传播和反向传播过程。作者使用Python的NumPy库进行矩阵运算，并加载了预训练的权重来处理数据集。通过计算准确率，结果显示模型在测试集上的预测准确率为97.52%。

摘要由CSDN通过智能技术生成

1）目标

打算手撕一遍前向传播与反向传播的公式推导以及代码。

2）推导

本次使用的神经网络模型。
在这里插入图片描述

3）手撕

全程使用sigmoid。
反向传播没考虑矩阵维度。
在这里插入图片描述

4）代码

import numpy as np
import matplotlib.pyplot as plt
import scipy.io as scio
import scipy.optimize as opt

data = scio.loadmat('D:\python\homewrok\data_sets\ex3data1.mat')
weights = scio.loadmat('D:\python\homewrok\data_sets\ex3weights.mat')

x = data['X']
y = data['y']
a = {}
z = {}
theta = {}
theta1 = weights['Theta1']
theta[1] = theta1.T
theta2 = weights['Theta2']
theta[2] = theta2.T

a[1]=x
n=3
def g(x):
    return 1/(1+np.exp(-x))

def plus1(x):
    return np.c_[np.ones(len(x)),x]

for i in range(1,n):
    a[i] = plus1(a[i])
    z[i+1] = a[i] @ theta[i]
    a[i+1] = g(z[i+1])

#z4 = a3 @ theta3T
#a4 = g(z4)

def predict(prob):
    y_predict = np.zeros((prob.shape[0], 1))
    for i in range(prob.shape[0]):
        y_predict[i] = np.unravel_index(np.argmax(prob[i, :]), prob[i, :].shape)[0] + 1
    return y_predict

def accuracy(y_predict, y=y):
    m = y.size
    count = 0
    for i in range(y.shape[0]):
        if y_predict[i] == y[i]:
            j = 1
        else:
            j = 0
        count = j + count  # 计数预测值和期望值相等的项
    return count / m

prob = a[3]
y_predict = predict(prob)
accuracy(y_predict)
print ('accuracy = {0}%'.format(accuracy(y_predict) * 100))