深度学习-实现BP神经网络

最新推荐文章于 2024-10-10 20:42:30 发布

不想敲代码的小趴菜

最新推荐文章于 2024-10-10 20:42:30 发布

阅读量1.3k

点赞数 10

分类专栏：深度学习文章标签：深度学习神经网络人工智能

本文链接：https://blog.csdn.net/shiguang521314/article/details/136910103

版权

深度学习专栏收录该内容

5 篇文章 0 订阅

订阅专栏

前言

在当今这个信息爆炸的时代，数据已成为推动社会进步和经济发展的重要资源。然而，面对海量的数据，如何有效地提取有价值的信息，如何利用这些数据进行决策支持，已成为一个亟待解决的难题。

随着人工智能技术的飞速发展，机器学习作为一种从数据中自动学习和提取模式的方法，已经成为解决这一问题的关键技术。特别是神经网络，作为一种模仿人脑处理信息的机器学习模型，已经在图像识别、语音识别、自然语言处理等多个领域展现出了卓越的性能。

本文将探讨反向传播神经网络（BP神经网络）的原理及其在机器学习中的应用，旨在为读者提供一个清晰的理解框架，并展示如何利用这一强大的工具解决实际问题。通过实现对BP神经网络的封装为类简单介绍，共同努力学习相关知识。

一、BP神经网络几个关键概念

1.多层结构：

BP神经网络由输入层、隐藏层和输出层组成。每一层都包含若干个神经元，这些神经元通过权重相互连接。

2.前向传播：

输入数据在网络中从输入层开始，经过隐藏层，最终到达输出层。在每一层中，神经元的输出是上一层神经元输出的加权和，通过激活函数处理后传递给下一层。

3.激活函数：

激活函数对神经元的输出进行非线性变换，使得网络能够学习和模拟复杂的非线性关系。常见的激活函数包括Sigmoid、ReLU等，这里用的为Sigmoid激活函数。

4.反向传播：

当网络输出与真实值存在误差时，反向传播算法用于调整网络中的权重，以减少误差。这个过程从输出层开始，逐层向前传递，计算每个权重对最终误差的贡献，并更新权重。

5.梯度下降：

在反向传播过程中，使用梯度下降算法来更新权重。梯度下降通过计算损失函数（如均方误差）的梯度，来确定权重调整的方向和大小，以最小化损失函数。

6.学习率：

学习率决定了权重更新的步长。学习率过高可能导致网络无法收敛，过低则训练过程缓慢。

7.迭代训练：

网络通过多次迭代训练，不断调整权重，直到网络的预测输出足够接近真实值，或者达到预定的训练周期。

BP神经网络的核心在于能够通过反向传播和梯度下降算法自动调整权重，以适应输入数据和输出标签之间的复杂映射关系，从而解决分类、回归等机器学习问题。

二、原理及其公式

BP神经网络的原理可以用数学表达式来描述。假设我们有一个单隐藏层的神经网络，输入层有 $( n )$ 个神经元，隐藏层有 $( m )$ 个神经元，输出层有 $( p )$ 个神经元。

1.前向传播：

输入层到隐藏层的权重矩阵为 $( W_{0} )$ ，大小为 $( m \times n )$ 。
隐藏层到输出层的权重矩阵为 $( W_{1} )$ ，大小为 $( p \times m )$ 。
输入数据为 $( X )$ ，大小为 $( n \times 1 )$ 。
隐藏层的激活输出为 $( Z_{1} = W_{0} \cdot X )$ 。
隐藏层的激活函数为 $( S(Z_{1}) )$ ，其中 $( S )$ 是Sigmoid函数。
输出层的激活输出为 $( Z_{2} = W_{1} \cdot S(Z_{1}) )$ 。
输出层的预测值为 $( Y_{pred} = S(Z_{2}) )$ 。

2.损失函数：

真实标签为 $( Y )$ ，大小为 $( p \times 1 )$ 。
损失函数（如均方误差）为 $( L = \frac{1}{2} | Y - Y_{pred} |^{2} )$ 。

3.反向传播：

输出层误差项 $( \delta_{2} = (Y_{pred} - Y) \odot S'(Z_{2}) )$ ，其中 $( S' )$ 是Sigmoid函数的导数。
隐藏层误差项 $( \delta_{1} = (W_{1}^{T} \cdot \delta_{2}) \odot S'(Z_{1}) )$ 。
权重更新规则：
- $( \Delta W_{1} = \eta \cdot \delta_{2} \cdot S(Z_{1})^{T} )$ ，其中 $( \eta )$ 是学习率。
- $( \Delta W_{0} = \eta \cdot \delta_{1} \cdot X^{T} )$ 。

三、封装为类的BP代码

import numpy as np


class BPNetwork:
    '''
    1.BPNetwork类定义：
    __init__方法：初始化一个BP神经网络实例，接收输入层大小、隐藏层大小和输出层大小作为参数，并初始化权重矩阵。
    w0：隐藏层到输入层的权重矩阵。
    w1：输出层到隐藏层的权重矩阵。
    '''
    def __init__(self,input_size,hidden_size,output_size):
        self.input_size=input_size
        self.hidden_size=hidden_size
        self.output_size=output_size

        self.w0=np.random.randn(self.hidden_size,self.input_size)
        self.w1=np.random.randn(self.output_size,self.hidden_size)



    def forward(self,x0):
        '''
        2.forward方法：
        前向传播函数，接收输入x0，计算隐藏层和输出层的值。
        z0：隐藏层的输入，计算方式是输入层和隐藏层权重矩阵的乘积。
        x1：隐藏层的输出，使用sigmoid函数计算。
        z1：输出层的输入，计算方式是隐藏层和输出层权重矩阵的乘积。
        y_pred：输出层的预测值，也使用sigmoid函数计算。
        '''
        self.z0=np.matmul(self.w0,x0)
        self.x1=1/(1+np.exp(-self.z0))


        self.z1 = np.matmul(self.w1, self.x1)
        self.y_pred = 1 / (1 + np.exp(-self.z1))

        return self.y_pred


    def backward(self,x0,y,lr):
        '''
        3.backward方法：
        反向传播函数，接收输入x0、真实标签y和学习率lr，更新权重。
        ypred_delta：输出层的误差项，计算方式是真实标签和预测值之差。
        z1_delta：输出层误差项的梯度，使用sigmoid函数的导数计算。
        w1_delta：输出层权重的梯度。
        x1_delta：隐藏层误差项的梯度。
        z0_delta：隐藏层误差项的梯度。
        w0_delta：隐藏层权重的梯度。
        '''

        ypred_delta=-(y-self.y_pred)

        z1_delta=ypred_delta*(self.y_pred*(1-self.y_pred))
        w1_delta=np.matmul(z1_delta,self.x1.T)
        x1_delta=np.matmul(self.w1.T,z1_delta)

        z0_delta=x1_delta*(self.x1*(1-self.x1))
        w0_delta=np.matmul(z0_delta,x0.T)
        x0_delta=np.matmul(self.w0.T,z0_delta)

        self.w1-=lr*w1_delta
        self.w0-=lr*w0_delta

x0=np.array([[0,0,1],[0,1,1],[1,0,1],[1,1,1]]).T
y=np.array([[0,1,1,0]])

lr=0.1
bpmodel=BPNetwork(3,4,1)

for j in range(60000):
    bpmodel.forward(x0)
    bpmodel.backward(x0,y,lr)

y_pred=bpmodel.forward(x0)
print(y_pred)
'''
4.初始化输入和输出：
x0：输入样本矩阵，4个样本，每个样本3个特征。
y：真实标签，4个样本的真实输出。
5.
训练过程：
循环60000次，进行前向传播和反向传播，更新权重。
6.
预测：
使用训练好的模型进行预测，并打印输出。
'''