反向传播（BP）算法推导

最新推荐文章于 2024-06-22 19:02:11 发布
最新推荐文章于 2024-06-22 19:02:11 发布
阅读量185 收藏
点赞数
分类专栏： 机器学习or深度学习 文章标签： 深度学习 神经网络 算法 人工智能 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43027065/article/details/111936845
版权

推导==》

在这里插入图片描述
对于图中第k层第j个神经元：
在这里插入图片描述

假设误差为L，最后一层为第n层，梯度
-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMDI3MDY1,size_16,color_FFFFFF,t_70)
同理，
在这里插入图片描述

绿线部分表示： 从 第k层第j个神经元到 最后一层 的 任一条线路上，对经过的神经元进行的运算（从第k+1层的神经元开始），如下图所示
在这里插入图片描述

相关细节

1.对于不同的损失函数有不同取值
在这里插入图片描述
例如，对于MSE（通常乘以1/2，用于求导后约去，方便计算）
在这里插入图片描述

2.对于图中第k+1层第m个神经元，有
在这里插入图片描述
可以由此得通式，计算链式求导
在这里插入图片描述
3.对于激活函数f，若f为sigmoid函数
在这里插入图片描述

朽一
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
反向传播算法数学推导
11-21
吴恩达机器学习课程反向传播算法的数学推导 Proof of Back Propagation Algorithm.pdf 【本文旨在给出吴恩达机器学习课程反向传播算法的数学推导】
几分钟弄明白 BP 反向传播算法
01-06
今天有朋友咨询我反向传播算法，我觉得不需要太复杂的推导，就可以解释清楚这个算法的原理。 序 假定神经网络采用下面的结构： 1. 最简单的神经网络模型 我们考虑最简单的情况：一个输入节点、一个输出节点、一个...
BP神经网络的反向传播(Back Propagation)
最新发布
dbat
06-22 901
反向传播指的是BP神经网络计算参数的梯度时的计算方式”，由于BP神经网络求解时所使用的是梯度下降算法(或其他算法)，这些算法一般都需要利用误差函数对参数的梯度，因此，计算梯度是BP神经网络训练中重要的一部分，而反向传播式地计算梯度就是BP神经网络的特色，BP神经网络之所以叫BP(Back Propagation Neural Network)神经网络，指的正是它计算梯度时这种后馈的特色。
bp算法原理和详细推导流程
12-23
BP算法（Back Propagation Algorithm），即误差反向传播算法，是多层感知器（Multilayer Perceptron, MLP）中的一种核心学习方法。该算法通过调整网络中的权重和偏置来最小化损失函数，从而提高网络对输入数据的预测...
BP算法推导及过程代码.7z
08-17
BP算法的推导涉及到偏导数计算，误差反向传播以及权重更新公式。对于第l层的神经元j，其误差Δw^(l)_{ij}的更新公式通常为： Δw^(l)_{ij} = -η * δ^(l)_j * z^(l-1)_i 其中，η是学习率，δ^(l)_j是第l层神经元...
BP算法推导及其他.doc
05-05
BP 算法推导及其他 BP 算法是神经网络中一种常用的训练算法，它通过反馈误差来调整网络权值和阈值，以达到最小化误差函数的目的。下面是 BP 算法的详细推导和相关知识点： 一、BP 网络的训练 BP 网络的训练无论是...
SimCLR图像分类——pytorch复现
热门推荐
如人饮水、冷暖自知
07-11 2万+
SimCLR图像分类 pytorch复现一、网络模型、损失函数1.原理2.code二、配置文件三、无监督学习数据加载四、无监督训练五、有监督训练六、训练并查看过程七、验证集评估八、自定义图片测试 一、网络模型、损失函数 1.原理 SimCLR(A Simple Framework for Contrastive Learning of Visual Representations)是一种对比学习网络，可以对含有少量标签的数据集进行训练推理,它包含无监督学习和有监督学习两个部分。 无监督学习网络特征提取
pytorch使用sobel、laplace算子
如人饮水、冷暖自知
04-11 6437
在torch.nn.functional.conv2d()中使用自己构造的sobel卷积核，卷积核shape为（out_channels, in_channels, kernel_size, kernel_size） import torch, cv2 import torch.nn.functional as F sobel_x = torch.tensor([[-1, -2, -1], [0, 0, 0], .
python下直接安装pytorch（不使用Anaconda）
如人饮水、冷暖自知
12-23 5396
C:\Users\yearn>pip install torch1.7.1+cpu torchvision0.8.2+cpu torchaudio=== 0.7.2 -f https://download.pytorch.org/whl/torch_stable.html python3.8.6
机器学习——数据处理流程梳理
如人饮水、冷暖自知
05-07 4038
数据处理流程梳理一、数据预处理1.数据缺失处理2.划分训练集、测试集及数据不平衡处理3.数据标准化4.特征选择1）随机森林2）相关性检测3）lasso特征5.特征降维二、训练模型1.训练2.查看ROC曲线3.评价指标三、测试数据预处理1.去除训练集缺失率高的列2.标准化3.特征选择4.特征降维四、测试集预测五、完整代码六、遇到的问题 一、数据预处理 以二分类问题为例，数据集形式为excle，label在最后一列 1.数据缺失处理 分别对行列缺失进行处理 def preTrainDataAndSelectFe
pytorch pow_()使用需谨慎
如人饮水、冷暖自知
11-30 3296
示例： x = torch.randn(1) y1 =x print("x:",x) print("y1:",y1) y2 = x.pow_(2) print("pow_ ...") print("x:",x) print("y1:",y1) print("y2:",y2) 输出： x: tensor([-1.7124]) y1: tensor([-1.7124]) pow_ ... x: tensor([2.9323]) y1:
将gpu并行模型转换为单cpu/gpu模型
如人饮水、冷暖自知
11-09 2553
import torch def convert_model(para_model,single_model): checkpoint = torch.load(para_model ,map_location=torch.device("cpu")) output={} for key,value in checkpoint['model'].items(): output[key.lstrip("module.")]=value torch.sav
DBnet实现
如人饮水、冷暖自知
01-21 1599
DBnet的具体实现 1.FPN(主干为resnet50) 2.DB （两次二值化，得到prob_map，threshold_map） 3.Segout torch.reciprocal(1 + torch.exp(-k * (prob_map - threshold_map)))
构造任意层数的金字塔（pytorch）
如人饮水、冷暖自知
12-01 1401
code import torch import torch.nn as nn import torch.nn.functional as F class ConvBnReLU(nn.Module): def __init__(self, in_channels, out_channels, kernel_size, stride, padding, bias=True, dilation=1): super(ConvBnReLU, self).__init__()
2D四点矩形的空间排序，及重叠矩形合并
如人饮水、冷暖自知
01-29 655
目标 对用四点表示的矩形组按从上到下，从左到右进行排序，并将重叠矩形合一。 例如 bboxs=[ [[ 916, 1440], [ 987, 1440], [ 987, 1466], [ 916, 1466]], [[ 741, 1440], [ 826, 1440], [ 826, 1466], [ 741, 1466]], [[ 708, 1444],
pytorch示例（多项式拟合，iris，mnist-dnn,mnist-cnn）
如人饮水、冷暖自知
01-04 497
1.多项式拟合 import numpy as np import torch import torch.autograd import torch.nn.functional as F from torch.autograd import Variable import matplotlib.pyplot as plt from itertools import count torch.manual_seed(1) POLY_DEGREE=4 W_target=torch.randn(POLY_DEGR
checkpoint = torch.load(args.state_dict) -＞RuntimeError: CUDA error: out of memory
如人饮水、冷暖自知
03-28 490
进行eval，加载模型到gpu时，出现错误：RuntimeError: CUDA error: out of memory 疑似原因：有一个相似的模型（网络结构名相同，通道数不同）在另一块gpu上训练着，导致加载错误 解决办法：先停止相似模型的训练 ...
logistic算法实现（gd,sgd,newton）(iris，mnist应用)
如人饮水、冷暖自知
03-26 340
logistic1.logistic实现2.山鸢尾识别3.手写数字6识别 1.logistic实现 import numpy as np import matplotlib.pyplot as plt class Logistic(): def __init__(self): pass #GD def fit_by_gd(self, X, y, x_test, y_test, lr=0.1, N=1000, eval=False, eval_step=50):
pytorch混合精度训练
如人饮水、冷暖自知
02-16 339
# coding=utf-8 import torch from torch.cuda.amp import autocast,GradScaler def train(epoch): #梯度缩放 https://pytorch.org/docs/stable/amp.html#gradient-scaling scaler = GradScaler() x = torch.randn(3,100).cuda() y = torch.randn(3,5).cud
RuntimeError: Input type (torch.cuda.FloatTensor) and weight type (torch.FloatTensor) should be the
如人饮水、冷暖自知
03-22 292
RuntimeError: Input type (torch.cuda.FloatTensor) and weight type (torch.FloatTensor) should be the same 定位报错位置： conv3 = nn.Conv2d(96, 24, 3, 1, 1, bias=False) 修改为 self.conv3 = nn.Conv2d(96, 24, 3, 1, 1, bias=False)
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值