bottom_need_backward_和layer_need_backward_和blob_need_backward_

最新推荐文章于 2022-07-09 09:47:17 发布
最新推荐文章于 2022-07-09 09:47:17 发布
阅读量118 收藏
点赞数 1
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/limengjuhanxin/article/details/87980544
版权

从前往后

bottom_need_backward_ = layer_param.propagate_down(bottom_id)
layer_need_backward_ = blob_need_backward_[blob_id]
blob_need_backward_[top_id_vecs_[layer_id][top_id]] = layer_need_backward_

在这里插入图片描述
1.只要bottom中有一个需要backward，则整个layer需要backward;
2.只要layer需要backward,则layer的所有top都需要backward；

从后往前

1.如果layer的所有top都不需要backward，则整个layer和layer所有的bottom都不需要backward

limengjuhanxin
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
caffe中所有Layer都不进行backward的BUG
kuaitoukid的专栏
10-12 1793
在caffe中，假如loss_layer指定了propagate_down参数，那么必须将loss_weight也同时在loss_layer设定好，这样让caffe知道这是一个loss层，不然…… 全部的layer都不进行backward…… 玛德，这问题差点把我坑死……
深度学习——文本、序列（循环神经网络RNN)(Tensorflow)笔记
qq_43842886的博客
02-17 1245
深度学习——文本一、文本数据处理1、one-hot 编码 一、文本数据处理 文本进行分词，得到标记，对标记做one-hot编码或词嵌入。 1、one-hot 编码 分词—>添加索引—>编码 将每个单词与唯一的一个整数索引关联，将整数索引i转换为长度为N的二进制向量，该向量第i个元素为1，其余元素为0。 import numpy as np #单词级 samples = ['The cat set on the mat.','The dog ate my homework.'] token_in
【PyTorch】双向循环神经网络/Bidirectional Recurrent Neural Network
积流成河
04-21 3112
1 模型描述 双向循环神经网络的特点是，当前时刻的输出不仅和之前的状态有关，还可能和未来的状态有关系，也就是同一层节点之间的信息是双向流动的 与一般的循环神经网络相比，在代码上改动不多，调用的函数仍是nn.LSTM，只是函数参数bidirectional设置为True，而隐层分成forward layer和backward layer，分别进行两个不同时间方向的信息传递，因此，隐层节点数翻倍 解决的问题是MNIST手写数字分类 2 具体代码 import torch import torch.nn a
BI-LSTM,BILSTM-CRF,Lattice-LSTM基本原理以及在NER中的应用
橙之之
11-22 5185
BI-LSTM,BILSTM-CRF,Lattice-LSTM基本原理以及在NER中的应用 连大赵露思 喜欢这篇文章可以关注公众号GoAI哟，都是感兴趣的在读研究生共同经营的，目前已收录计算机视觉和NLP的文章多篇 目录： ①BI-LSTM，BILSTM-CRF，Lattice-LSTM的基本原理 ②BI-LSTM，BILSTM-CRF，Lattice-LSTM在NER中的作用 BI-LSTM，BILSTM-CRF，Lattice-LSTM的基本原理 BI-LSTM： LSTM（long-short ter
【Tensorflow+Keras】tf.keras.layers.Bidirectional()的解析与使用
热门推荐
BetterBench的博客
01-16 1万+
1 作用 实现RNN类型神经网络的双向构造 RNN类型神经网络比如LSTM、GRU等等 2 参数 tf.keras.layers.Bidirectional( layer, merge_mode=‘concat’, weights=None, backward_layer=None ) layer 神经网络，如RNN、LSTM、GRU merge_mode 前向和后向RNN的输出将被组合的模式。{‘sum’，‘mul’，‘concat’，‘ave’，None}中的一个。如果为None，则将不合并输出，
fblf.rar_backward forward_flow_sweep load flow
07-14
forward sweep and backward sweep load flow
faspt_mlb.zip_backward_lms_卡尔曼滤波_文档 说明_滤波器设计
07-15
《卡尔曼滤波器设计详解——以faspt_mlb.zip_backward_lms为例》 在信息技术领域，信号处理是一项至关重要的技术，而其中的滤波器设计则是信号处理的核心环节。本篇文章将深入探讨一个名为“faspt_mlb.zip_backward...
backwardforward.zip_backward forward_backward sweep_distribution
07-15
backward forward sweep method for radial distribution system
StebyStep.rar_FORWARD_backward_forward backward_step by step_swe
07-15
标题中的"StebyStep.rar_FORWARD_backward_forward_backward_step by step_swe"似乎是一个组合错误，但我们可以推断这可能与一个关于“前进”和“后退”算法的逐步教程有关，可能是一个MATLAB程序，因为压缩包中有一...
hci_packet.rar_As They Were
09-23
"For backward compatibility, lower 16 bits used as they were." 这句话表明在处理或定义NIC类型时，为了保持与早期系统或协议的兼容性，其低16位的表示方式未做变动。这通常是因为旧系统或协议依赖于这种特定的...
自然语言处理——基于预训练模型的方法——第6章 动态词向量预训练模型
谢谢你们的关注
07-09 1390
自然语言处理——基于预训练模型的方法——第6章 动态词向量预训练模型
神经翻译笔记4扩展a第二部分. RNN在TF2.0中的实现方法略览
Timson的NLP笔记本
02-28 581
神经翻译笔记4扩展a第二部分. RNN在TF2.0中的实现方法略览 文章目录神经翻译笔记4扩展a第二部分. RNN在TF2.0中的实现方法略览相关基类`tf.keras.layers.Layer``recurrent.DropoutRNNCellMixin`RNNCell相关`LSTMCell``PeepholeLSTMCell``StackedRNNCells``AbstractRNNCell`...
浅谈智能搜索和对话式OS
feng98ren的专栏
01-26 3854
转载：https://www.jianshu.com/p/3a9f49834c4a?utm_campaign=maleskine&utm_content=note&utm_medium=seo_notes&utm_source=recommendation浅谈智能搜索和对话式OS前面的文章主要从理论的角度介绍了自然语言人机对话系统所可能涉及到的多个领域的经典模型和基础知识。...
基于tensorflow2.0的RNN实战（单向RNN，双向RNN，Attention+RNN）
zhong_ddbb的博客
09-27 5283
文章目录基本结构实战—单向RNN实战—双向RNN实战—Attention+RNN 基本结构 RNN常见的结构如下： 其中的单元AAA可以是全连接RNN，LSTM，GRU。 tensorfow2.0中将这三个封装到以下接口中： keras.layers.SimpleRNN keras.layers.GRU keras.layers.LSTM 对于序列预测，如机器翻译，我们需要同时获得所有的单元A的输出(h0,h1⋯ ,ht)(h_0,h_1\cdots,h_t)(h0​,h1​⋯,ht​)。对于分类和回归问
（Caffe，LeNet）反向传播（六）
沤江一流的专栏
05-31 1万+
本文地址： 本部分剖析Caffe中Net::Backward()函数，即反向传播计算过程。从LeNet网络角度出发，且调试网络为训练网络，共9层网络。具体网络层信息见 （Caffe，LeNet）初始化训练网络（三） 第2部分本部分不介绍反向传播算法的理论原理，以下介绍基于对反向传播算法有一定的了解。1 入口信息Net::Backward()函数中调用BackwardFromTo函数，从网络最后一层到
【AlexeyAB DarkNet框架解析】四，网络的前向传播和反向传播介绍以及layer的详细解析
I good vegetable a!
02-05 824
前言 前面我们已经成功的获取了目标检测的网络结构(cfg文件的内容)，并将网络保存在了一个network结构体中，然后我们还分析了数据加载方式。现在数据和网络结构都有了，接下来就是开始训练/测试的过程了，这个过程主要调用的是network的前向传播和反向传播函数，而network的前向传播和反向传播又可以细分为每一个layer的前向传播和反向传播，今天我们来看看卷积层。 网络的前向传播和反向传播 ...
caffe——net.cpp——init（）
l494926429的博客
05-09 3600
caffe，net.cpp
反向网络函数backward_network(net)
m0_37799466的博客
05-22 601
backward_network(net)函数 void backward_network_gpu(network *netp) { int i; network net = *netp; network orig = net; cuda_set_device(net.gpu_index); for(i = net.n-1; i >= 0; --i){ layer l = net.layers[i]; if(l.stopbackw
学习笔记: 源码 net.cpp 浅析
smallplum123的博客
05-08 657
1. 初始化函数 template void Net::Init(const NetParameter& in_param) { ... map blob_name_to_idx; //Blob名与index的map set available_blobs; //记录已有的Blob名 memory_used_ = 0; //统计内存占用 //初始化各数据成员个数，bottom_vecs_记录每
对https://github.com/PaddlePaddle/PaddleNLP/blob/develop/model_zoo/uie/finetune.py连接下的代码进行解析
最新发布
05-01
这个代码是 PaddleNLP 中的一个模型 Fine-tuning 的示例，用于在 UIE（User Intention Extraction）任务上 Fine-tuning 预训练好的 ERNIE-Gram 模型。 以下是代码的主要部分解析： ```python from paddlenlp.transformers import ErnieGramForSequenceClassification, ErnieGramTokenizer import paddle # 加载预训练模型和分词器 model = ErnieGramForSequenceClassification.from_pretrained('ernie-gram-zh') tokenizer = ErnieGramTokenizer.from_pretrained('ernie-gram-zh') # 加载数据 train_ds, dev_ds, test_ds = load_dataset(datafiles) # 定义数据处理函数 def convert_example(example, tokenizer, max_seq_length=512): query, title, label = example['query'], example['title'], example['label'] encoded_inputs = tokenizer(query, title, max_seq_len=max_seq_length, pad_to_max_seq_len=True) input_ids = encoded_inputs['input_ids'] token_type_ids = encoded_inputs['token_type_ids'] attention_mask = encoded_inputs['attention_mask'] return input_ids, token_type_ids, attention_mask, label # 定义数据读取器 train_data_loader = paddle.io.DataLoader(train_ds.map(lambda x: convert_example(x, tokenizer)), batch_size=batch_size, num_workers=num_workers, shuffle=True) dev_data_loader = paddle.io.DataLoader(dev_ds.map(lambda x: convert_example(x, tokenizer)), batch_size=batch_size, num_workers=num_workers, shuffle=False) test_data_loader = paddle.io.DataLoader(test_ds.map(lambda x: convert_example(x, tokenizer)), batch_size=batch_size, num_workers=num_workers, shuffle=False) # 定义优化器和损失函数 optimizer = paddle.optimizer.AdamW(learning_rate=lr, parameters=model.parameters()) criterion = paddle.nn.loss.CrossEntropyLoss() # Fine-tuning for epoch in range(epochs): for input_ids, token_type_ids, attention_mask, labels in train_data_loader: logits = model(input_ids, token_type_ids, attention_mask) loss = criterion(logits, labels) loss.backward() optimizer.step() optimizer.clear_grad() ``` 首先，通过 PaddleNLP 中的 `ErnieGramForSequenceClassification` 和 `ErnieGramTokenizer` 加载预训练模型和分词器。 然后，通过 `load_dataset` 函数加载数据集，并定义 `convert_example` 函数将数据转化为模型需要的格式，包括输入的 `input_ids`、`token_type_ids` 和 `attention_mask` 以及标签 `label`。 接着，通过 `DataLoader` 定义数据读取器，将数据输入模型进行 Fine-tuning。 最后，定义优化器和损失函数，使用 `backward` 计算梯度并更新模型参数。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值