举例说明神经网络运行机制(附用numpy从零实现神经网络)

最新推荐文章于 2024-07-04 09:42:47 发布
最新推荐文章于 2024-07-04 09:42:47 发布
阅读量220 收藏 1
点赞数 2
分类专栏： 笔记 文章标签： 神经网络 numpy 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44836316/article/details/126033527
版权

举例说明神经网络运行机制(附用numpy从零实现神经网络)

1.数据,问题,目的

在这里插入图片描述
数据如上图所示,输入为身高体重,输出为性别(1:男,0:女)。
目的:搭建一个神经网络,通过四条数据训练模型参数使模型可以根据输入给出输出。
在这里插入图片描述
Input:输入
Output :输出
Weight:实体权重

2.前向传播

(1)将身高作为input1,体重作为input2。
(2)H1 =f [(input1 * weight1) +(input2 * weight3) + b1],f[x]:激活函数，激活函数存在的意义是：采用非线性激活函数使整个网络非线性化，具备更强的拟合能力；使方向传播变的可能。因为，这时候梯度和误差会被同时用来更新权重和偏移。没有可微分的线性函数，这就不可能了。

def sigmoid(x):
    '''
    激活函数 f(x) = 1 / (1 + e^(-x))
    '''
    return 1 / (1 + np.exp(-x))

(3)H2 =f [(input1* weight2) +(input2 * weight4) + b2]
（4）output = f[(H1 * weight5) + (H2 * weight6) + b3],此时就得到了模型的预测值，前向传播就完成了。

3.反向传播

根据上述的前向传播得到的预测值，显然是不可靠的，因为权重并不是最优的。因此评判模型被训练到了一个什么样的程度以及如何迭代更新权重（包括如何更新权重）就成了重要的问题。
(1)评判标准：loss = ∑(y(true)-y(pred))(y(true)-y(pred))/n，loss值就是对送入训练的所有样本的真实值减去预测值的平方进行求平均值。

def mse_loss(y_true, y_pred):
    '''
    计算模型对某一样本的预测值与真实值之间的差别
    '''
    return ((y_true - y_pred) ** 2).mean()

(2)显然，上述的loss值越接近于0，证明预测值越接近真实值。输入是相同的，激活函数是相同的，最终能改变预测结果的就是可变的参数，可变的参数为weight1,weight2,weight3,weight4,weight5,weight6,b1,b2,b3,那么我们就需要更改这些参数来试着减小loss。
这些参数如何更改才会使得loss变小呢？（不妨把loss看成以权重和偏置为自变量的函数）
我们可以用loss值对每个权重求偏导，如果某一个结果为正，表示增加这个权重loss值就会相应的增加。
在这里插入图片描述
相同的道理可以计算loss对每个权重和偏置的偏导数。
(3)之后我们根据（2）中得到的结果对权重和偏执进行更新，更新的公式如下：
weight = weight -lr * (偏导数值)
b = b -lr * (偏导数值)

                # 参数更新
                self.w1 -= learn_rate * d_L_d_ypred * d_ypred_d_h1 * d_h1_d_w1
                self.w2 -= learn_rate * d_L_d_ypred * d_ypred_d_h1 * d_h1_d_w2
                self.b1 -= learn_rate * d_L_d_ypred * d_ypred_d_h1 * d_h1_d_b1

                self.w3 -= learn_rate * d_L_d_ypred * d_ypred_d_h2 * d_h2_d_w3
                self.w4 -= learn_rate * d_L_d_ypred * d_ypred_d_h2 * d_h2_d_w4
                self.b2 -= learn_rate * d_L_d_ypred * d_ypred_d_h2 * d_h2_d_b2

                self.w5 -= learn_rate * d_L_d_ypred * d_ypred_d_w5
                self.w6 -= learn_rate * d_L_d_ypred * d_ypred_d_w6
                self.b3 -= learn_rate * d_L_d_ypred * d_ypred_d_b3

(4)将更新完的参数再放回网络中，再进行前向传播，计算loss,求偏导，更新参数一系列的循环，知道loss值为0为止（理论上来讲，实际上loss降到0的情况很少）。

下放完整代码：

import numpy as np

def sigmoid(x):
    '''
    激活函数 f(x) = 1 / (1 + e^(-x))
    '''
    return 1 / (1 + np.exp(-x))

def deriv_sigmoid(x):
    '''
    对sigmoid激活函数求导f'(x) = f(x) * (1 - f(x))
    '''
    fx = sigmoid(x)
    return fx * (1 - fx)

def mse_loss(y_true, y_pred):
    '''
    计算模型对某一样本的预测值与真实值之间的差别
    '''
    return ((y_true - y_pred) ** 2).mean()

class NeuralNetwork:
    def __init__(self):
        # 随机设置权重
        self.w1 = np.random.normal()
        self.w2 = np.random.normal()
        self.w3 = np.random.normal()
        self.w4 = np.random.normal()
        self.w5 = np.random.normal()
        self.w6 = np.random.normal()

        # 随机设置偏置
        self.b1 = np.random.normal()
        self.b2 = np.random.normal()
        self.b3 = np.random.normal()

    def feedforward(self, x):
        # 前向传播，计算当前节点应得到的值，对前一层所有与先节点连接的节点×权重+偏置并且激活
        # x即是train里的data里的一条数据 x[0]：该条数据的第一个特征 x[1]：该条数据的第二个特征
        h1 = sigmoid(self.w1 * x[0] + self.w2 * x[1] + self.b1)
        h2 = sigmoid(self.w3 * x[0] + self.w4 * x[1] + self.b2)
        o1 = sigmoid(self.w5 * h1 + self.w6 * h2 + self.b3)
        return o1

    def train(self, data, all_y_trues):
        '''
        输入数据为（nx2）的numpy数组，n代表有多少条数据
        输入标签为（nx1）的numpy数组，n代表有多少条数据（输入标签与输入数据一一对应）
        '''
        learn_rate = 0.1     # 学习率
        epochs = 1000        # 训练的轮次
###########################训练，迭代更新参数##############################
        for epoch in range(epochs):
            for x, y_true in zip(data, all_y_trues):
                sum_h1 = self.w1 * x[0] + self.w2 * x[1] + self.b1
                h1 = sigmoid(sum_h1)

                sum_h2 = self.w3 * x[0] + self.w4 * x[1] + self.b2
                h2 = sigmoid(sum_h2)

                sum_o1 = self.w5 * h1 + self.w6 * h2 + self.b3
                o1 = sigmoid(sum_o1)
                y_pred = o1
                # loss对参数求偏导
                d_L_d_ypred = -2 * (y_true - y_pred)

                d_ypred_d_w5 = h1 * deriv_sigmoid(sum_o1)
                d_ypred_d_w6 = h2 * deriv_sigmoid(sum_o1)
                d_ypred_d_b3 = deriv_sigmoid(sum_o1)

                d_ypred_d_h1 = self.w5 * deriv_sigmoid(sum_o1)
                d_ypred_d_h2 = self.w6 * deriv_sigmoid(sum_o1)

                d_h1_d_w1 = x[0] * deriv_sigmoid(sum_h1)
                d_h1_d_w2 = x[1] * deriv_sigmoid(sum_h1)
                d_h1_d_b1 = deriv_sigmoid(sum_h1)

                d_h2_d_w3 = x[0] * deriv_sigmoid(sum_h2)
                d_h2_d_w4 = x[1] * deriv_sigmoid(sum_h2)
                d_h2_d_b2 = deriv_sigmoid(sum_h2)

                # 参数更新
                self.w1 -= learn_rate * d_L_d_ypred * d_ypred_d_h1 * d_h1_d_w1
                self.w2 -= learn_rate * d_L_d_ypred * d_ypred_d_h1 * d_h1_d_w2
                self.b1 -= learn_rate * d_L_d_ypred * d_ypred_d_h1 * d_h1_d_b1

                self.w3 -= learn_rate * d_L_d_ypred * d_ypred_d_h2 * d_h2_d_w3
                self.w4 -= learn_rate * d_L_d_ypred * d_ypred_d_h2 * d_h2_d_w4
                self.b2 -= learn_rate * d_L_d_ypred * d_ypred_d_h2 * d_h2_d_b2

                self.w5 -= learn_rate * d_L_d_ypred * d_ypred_d_w5
                self.w6 -= learn_rate * d_L_d_ypred * d_ypred_d_w6
                self.b3 -= learn_rate * d_L_d_ypred * d_ypred_d_b3
#########################################################################################

            # --- Calculate total loss at the end of each epoch
            if epoch % 10 == 0:
                y_preds = np.apply_along_axis(self.feedforward, 1, data)
                loss = mse_loss(all_y_trues, y_preds)
                print("Epoch %d loss: %.3f" % (epoch, loss))
###########创建数据##############
data = np.array([
    [180, 80], 
    [175, 60],  
    [160, 50],   
    [155, 52], 
    ])
all_y_trues = np.array([
    1, 
    1, 
    0, 
    0, 
    ])
model = NeuralNetwork()
model.train(data, all_y_trues)
小张专注Debug
关注
专栏目录
神经网络运作机制
qq_16540387的博客
12-03 2637
摘要：本文将以多层神经网络为主线，详细介绍多层感知器和反向传播算法及其工作原理。一 神经元的组成和基本原理在神经网络中，神经元是计算的基本单元，也被称为节点或单元。它接受其他节点或外部的输入，在计算后产生输出。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重(w)。该节点将一个函数f（定义如下）作用于输入的加权和，如下图所示 上述网络采用数值输入X1和X2、与输入相关联的权重
深度学习笔记1：利用numpy从零搭建一个神经网络
简书博客搬家测试账号
07-12 685
欢迎关注天善智能，我们是专注于商业智能BI，人工智能AI，大数据分析与挖掘领域的垂直社区，学习，问答、求职一站式搞定！ 对商业智能BI、大数据分析挖掘、机器学习，python，R等数据领域感兴趣的同学加微信：tsaiedu，并注明消息来源，邀请你进入数据爱好者交流群，数据爱好者们都在这儿。 作者简介： 鲁伟：一个数据科学践行者的学习日记。数据挖掘与机器学...
神经网络ppt不足之处怎么写,神经网络ppt免费下载
神经网络爱好者
08-06 281
一.一些基本常识和原理[什么叫神经网络?]人的思维有逻辑性和直观性两种不同的基本方式。逻辑性的思维是指根据逻辑规则进行推理的过程；它先将信息化成概念，并用符号表示，然后，根据符号运算按串行模式进行逻辑推理；这一过程可以写成串行的指令，让计算机执行。然而，直观性的思维是将分布式存储的信息综合起来，结果是忽然间产生想法或解决问题的办法。这种思维方式的根本之点在于以下两点:1.信息是通过神经元上的兴奋模式分布储在网络上;2.信息处理是通过神经元之间同时相互作用的动态过程来完成的。...
你知道是怎么运作的吗？神经网络内部原理解析
python1234_的博客
07-04 945
根据不同的任务，神经网络也分为不同的类型，比如分类任务，文本处理任务，图片处理任务等。根据不同的网络架构也有不同的实现方式，比如全链接层就需要所有神经元参与计算。在由多层网络组成的隐藏层中，每一层的输入都是上层的输出，每一层的输出就是下一层的输入。简单来说，神经网络就由其三大组件(输入层，隐藏层和输出层)组成，每一层根据不同的任务都会有不同的实现，重要的就是其泛化和扩展的能力。最后，经过损失函数计算损失差，并通过反向传播的方式，使用优化器优化网络各层的参数，最后使模型达到最优。
神经网络实例
heart_6662的博客
11-26 530
目录 14的时候：（小明是颜值控） 小明无数次碰壁后 16岁的时候 18岁的时候 总结： 一个男孩名叫小明要找一个女朋友，于是实现了女朋友判定机，但是随着随着年龄的增长，小明的判定机页一直在改变 14的时候：（小明是颜值控） 14岁时他认为女朋友要长得好看doge 但是无数次碰壁后（小明灰心丧气），这个时候小明意识到追到女孩的可能性和颜值一样重要，于是修改判定机 小明无数次碰壁后 w为权重 在15岁的时候，他终于找到女朋友了，但是一段时间后，他发..
一个简单的神经网络例子
热门推荐
dbat
09-15 3万+
老饼讲解BP神经网络：在本文，展示一个matlab2014实现神经网络的简单例子，用于初步学习。
神经网络是怎么运行的？
weixin_62464451的博客
06-03 1873
神经网络是一种由多个神经元以一定的方式联结形成的网络结构，是一种仿照生物神经系统结构和功能的人工智能技术。神经网络通常由输入层输出层和若干个隐藏层组成，每个层包含若干个神经元。神经网络的基本组成单位是神经元，它模拟了生物神经元的行为特征，包括输入信号的接收、加权求和、非线性激活等过程。神经元接收来自前一层神经元的输入信号，将输入信号进行加权求和，并通过激活函数将结果转换为输出信号，并将输出信号传递给下一层神经元。
零基础入门深度学习（一）：用numpy实现神经网络训练
Cry2engine的博客
01-06 706
授课讲师 | 毕然 百度深度学习技术平台部主任架构师 授课时间 | 每周二、周四晚20:00-21:00 编辑整理 | 刘威威 内容来源 | 百度飞桨深度学习集训营 本课程是百度官方开设的零基础入门深度学习课程，主要面向没有深度学习技术基础或者基础薄弱的同学，帮助大家实现从0到1的跨越。从本课程中，你将学习到： 深度学习基础知识 numpy实现神经网络构建和梯...
DL_algorithms_Simple_CNN:使用numpy从零开始的带有池层的简单卷积神经网络
04-02
本项目名为"DL_algorithms_Simple_CNN"，旨在通过Python 3和Jupyter Notebook来实现一个基础的、包含池化层的卷积神经网络，从而帮助初学者理解CNN的工作原理。 在Python 3环境中，Jupyter Notebook是一种交互式...
用python实现神经网络算法.zip
08-28
本资源“用python实现神经网络算法.zip”提供了一套完整的源代码，可以帮助学习者深入理解和实践神经网络的构建与应用。 首先，神经网络是模仿人脑神经元工作原理的一种计算模型，它由大量的处理单元（神经元）组成...
BP神经网络预测（python）
04-20
Python实现BP神经网络时，通常会使用numpy库进行矩阵运算，这可以提高代码效率。此外，scikit-learn库也可以用于数据预处理和模型评估。文章中可能还会讲解如何构建网络结构，设置超参数（如学习率、迭代次数、隐藏...
实现单个神经网络实现（适合小白，可直接运行）
04-30
实现单个神经网络实现 1 本人所使用的开发环境为 ubantu 18.04 64位系统，主要使用的软件如下： Python 3.6 anaconda3 1.9.7 spyder 3.34 tensorflow 1.13.1 2 实验过程 一个输入值,作为神经元的激励。 单个权重,用来与输入相乘,产生神经元的输出;权重值会在训练阶段产生变化。 输出是输入和权重的乘积。神经元是通过输出和期望值的比较进行学习的。
pytorch框架基于BP三层全连接神经网络实现的MNIST手写数字识别python源码+项目说明（人工智能课程作业）.zip
最新发布
07-25
pytorch框架基于BP三层全连接神经网络实现的MNIST手写数字识别python源码+项目说明（人工智能课程作业）.zip 【备注】 1、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！有问题请...
python神经网络实现程序+数据集.zip
07-03
标题 "python神经网络实现程序+数据集.zip" 提供了一个关于使用Python编程语言实现神经网络的项目。这个项目包括了不同类型的神经网络模型，如简单的反向传播（BP）神经网络，感知机（Perceptron），以及Adaline梯度...
神经网络算法实例说明，简单神经网络算法原理
aifans_bert的博客
07-11 3250
在网络模型与算法研究的基础上，利用人工神经网络组成实际的应用系统，例如，完成某种信号处理或模式识别的功能、构作专家系统、制成机器人、复杂系统控制等等。纵观当代新兴科学技术的发展历史，人类在征服宇宙空间、基本粒子，生命起源等科学技术领域的进程中历经了崎岖不平的道路。我们也会看到，探索人脑功能和神经网络的研究将伴随着重重困难的克服而日新月异。MATLAB中文论坛2010年出过一本书，北航出版社的，叫《MATLAB神经网络30个案例分析 (豆瓣)》。我觉得把它作为入门书挺好的，每一章配有视频和代码，可以依样画葫芦
神经网络方法研究及应用,神经网络算法简单例子
ynca67269的博客
08-12 801
我想这可能是你想要的神经网络吧！什么是神经网络：人工神经网络（ArtificialNeuralNetworks，简写为ANNs）也简称为神经网络（NNs）或称作连接模型（ConnectionModel），它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。...
神经网络 深度神经网络,深度神经网络应用实例
神经网络爱好者
08-21 1813
其实咱们的实际生活中已经有很多应用深度学习技术的案例了。比如电商行业，在浏览淘宝时，页面中有很多都是符合你的爱好并且最近有意向购买的商品，这种个性化推荐中就涉及到深度学习技术，还有就是在购物界面能和你进行对话，解决疑问的淘宝智能机器人，也涉及深度学习技术。比如交通领域，通过深度学习技术能监测到车辆停车、逆行等行为，甚至精确识别车辆的车牌号、颜色、车型、车辆里的人物等来辅助交通执法，甚至在发生交通事故和交通拥堵时进行报警等。比如金融行业，银行通过深度学习技术能对数以百万的消费者数据（年龄，职业，婚姻状况等）、
用最简单的例子解释神经网络
AlexDish的博客
12-13 1682
用最简单的例子解释神经网络起源基础知识图例单一层神经网络多层神经网络 起源 本篇文章来自于百度AIStudio的学习课程，关于神经网络、前向推理、后向传播、后向梯度计算等等的例子。 课程中讲到一个买苹果的例子，然后类比介绍了有关神经网络的相关知识。 基础知识 先普及一下求导的加法法则和链式法则： 假设z=f(v)+g(v)z=f(v)+g(v)z=f(v)+g(v)， 那么要使zzz对vvv求层，即dzdv=df(v)dv+df(v)dv\frac{dz}{dv}=\frac{df(v)}{dv}+\fra
人工神经网络研究的目的,人工神经网络训练过程
aifans_bert的博客
10-07 1739
一般指对人工神经网络训练。向网络足够多的样本，通过一定算法调整网络的结构（主要是调节权值），使网络的输出与预期值相符，这样的过程就是神经网络训练。根据学习环境中教师信号的差异，神经网络训练大致可分为二分割学习、输出值学习和无教师学习三种。谷歌人工智能写作项目：小发猫一.一些基本常识和原理[什么叫神经网络?]人的思维有逻辑性和直观性两种不同的基本方式。逻辑性的思维是指根据逻辑规则进行推理的过程；它先将信息化成概念，并用符号表示，然后，根据符号运算按串行模式进行逻辑推理；
门控图神经网络实现交通流预测的代码
06-07
这里是一个简单的基于 Python 和 PyTorch 的 GGNN 交通流预测代码示例，供您参考： 首先，需要导入所需的库和模块： ```python import torch import torch.nn as nn import torch.optim as optim import numpy as np import random from sklearn.metrics import mean_squared_error, mean_absolute_error ``` 然后，定义 GGNN 模型： ```python class GGNN(nn.Module): def __init__(self, num_nodes, num_features, num_classes, num_steps, hidden_size): super(GGNN, self).__init__() self.num_nodes = num_nodes self.num_features = num_features self.num_classes = num_classes self.num_steps = num_steps self.hidden_size = hidden_size self.W = nn.Linear(num_features, hidden_size) self.U = nn.Linear(hidden_size, hidden_size, bias=False) self.V = nn.Linear(hidden_size, num_classes) self.tanh = nn.Tanh() self.softmax = nn.Softmax(dim=1) def forward(self, A, X): h = self.W(X) for i in range(self.num_steps): m = torch.matmul(A, h) n = self.U(h) h = self.tanh(m + n) out = self.V(h) out = self.softmax(out) return out ``` 在 GGNN 模型中，我们使用线性层来对节点特征进行编码，并使用门控机制来更新节点状态。最后，我们使用线性层和 softmax 函数对输出进行计算。 接下来，定义训练和测试函数： ```python def train(model, optimizer, criterion, A, X, Y): model.train() optimizer.zero_grad() out = model(A, X) loss = criterion(out, Y) loss.backward() optimizer.step() return loss.item() def test(model, A, X, Y): model.eval() with torch.no_grad(): out = model(A, X) pred = torch.argmax(out, dim=1) acc = np.mean((pred == Y).cpu().numpy()) mae = mean_absolute_error(Y.cpu().numpy(), pred.cpu().numpy()) mse = mean_squared_error(Y.cpu().numpy(), pred.cpu().numpy()) return acc, mae, mse ``` 在训练函数中，我们首先将模型设置为训练模式，并将优化器的梯度设置为零。然后，我们计算输出和损失，并进行反向传播和优化。在测试函数中，我们首先将模型设置为评估模式，并计算预测结果和评估指标。 最后，加载数据和运行模型： ```python # Load data A = ... # Adjacency matrix X = ... # Node features Y = ... # Labels # Split data train_idx = ... test_idx = ... # Initialize model model = GGNN(num_nodes, num_features, num_classes, num_steps, hidden_size) # Initialize optimizer and criterion optimizer = optim.Adam(model.parameters(), lr=learning_rate) criterion = nn.CrossEntropyLoss() # Train and test for epoch in range(num_epochs): random.shuffle(train_idx) for i in range(0, len(train_idx), batch_size): batch_idx = train_idx[i:i+batch_size] loss = train(model, optimizer, criterion, A[batch_idx,:][:,batch_idx], X[batch_idx], Y[batch_idx]) acc, mae, mse = test(model, A[test_idx,:][:,test_idx], X[test_idx], Y[test_idx]) print("Epoch {}: Test acc: {:.4f}, Test MAE: {:.4f}, Test MSE: {:.4f}".format(epoch+1, acc, mae, mse)) ``` 在代码中，我们首先加载数据，然后使用随机梯度下降法训练模型，并在每个 epoch 中使用测试集进行测试。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值