【阅读笔记】【DNN早退】BranchyNet: Fast Inference Via Early Exiting From Deep Neural Networks

最新推荐文章于 2024-05-28 09:00:20 发布
最新推荐文章于 2024-05-28 09:00:20 发布
阅读量1.3k 收藏 10
点赞数 1
文章标签： dnn 深度学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Artistzq/article/details/126345548
版权

系列文章目录

文章目录

【阅读笔记】【DNN早退】BranchyNet: Fast Inference Via Early Exiting From Deep Neural Networks

ICPR 2016 哈佛
阅读笔记，非全文翻译

摘要

  • 提出了BranchyNet，允许一些样本在已经拥有高预测置信度时提前退出网络
  • 观察到，神经网络前面几层学习到的特征就已经足以用于分类
  • 可以提升准确率和减少推理时间

1 引言

在这里插入图片描述

  • 实验中发现，如果是为了提高性能，一个分支上没必要叠加很多卷积层
  • Contributions：
    • 早退分支可以快速推理
    • 分支在联合优化中作为正则项
    • 减缓梯度消失现象

2 背景和相关工作

  • 剪枝没法用GPU加速
  • 剪枝、低秩近似等压缩方法可以和本文的BranchyNet结合起来
  • Panda等人提出了CDL，在每个卷积层后加一个线性分类器，观察输出，判断是否可以提前结束推理。

3 BranchyNet

  • 只考虑一级分支，即分支上不再有分支

A 架构

  • 如图1，按顺序编号，添加分支之前的推理图就是原模型baseline

B 训练BranchyNet

  • 联合优化，所有分支的损失函数通过权重wn做加权和
    在这里插入图片描述
    在这里插入图片描述

C 快速推理

  • 观察分支处的熵，小于阈值T则提前退出网络
    在这里插入图片描述
    在这里插入图片描述

4 结果

在这里插入图片描述

  • 作者发现，用训练过的baseline网络的权重来初始化BranchyNet，比随机初始化BranchyNet权重，会带来更好的分类准确性。
  • 很多样本都在浅层退出了推理，加快了平均的推理速度
  • 甚至BranchyNet提高了一些分类准确率

在这里插入图片描述

  • 图3，每个点代表不同的阈值T

5 分析和讨论

A 超参数灵敏度

  • 给前面的分支更多的权重，则提升了后面分支的准确性，因为相当于添加了正则项
  • 图4表明了T如何影响在第一个分支推出的样本的数量
  • T的选取应该实际考虑综合推理时间和准确率，因人而异
  • 第一个分支的退出位置由数据集决定

B 调整阈值T

  • 作者只是实验了多个T，然后根据需求筛选
  • 作者期待自动化选取，以后可能使用Meta-Recognition方法来估计未见样本的特征，自动调整T。

C 分支结构的影响

  • 分支的层数不能太多，前一个分支不能超过后面的分支的层数和计算量（否则也没必要设置这个分支了，分支就是为了减少计算）
  • 但同时，前一个分支应该有更多层，后一个分支的层应该更少。

D 对缓存的影响

在这里插入图片描述

  • 因为有很多的样本从前面层退出了，所以缓存命中率提高了，加快了推理速度

结论

  • BranchyNet提高了推理速度，可与模型压缩等方法结合起来，不局限于分类任务

短小精悍

Artistzq
关注
  • 1
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
深度神经网络中基于提前退出的快速推理方法的研究与实现
librahfacebook的博客
07-08 2533
BranchyNet_chainer 基于提前退出部分样本原理而实现的带分支网络（supported by chainer） 摘要 　　深度神经网络是具有一定复杂程度的神经网络，可以定义为具有输入层、输出层和 至少一个隐藏层之间的网络。每个层在一个过程中执行特定类型的分类和排序，这些复 杂的神经网络的一个关键用途是处理未标记或未结构化的数据。一般来说，随着网络深 度的增大，网络的性能也将会...
Deep Neural Networks are Easily Fooled
10-19
Deep neural networks (DNNs) have recently been achieving state-of-the-art performance on a variety of pattern-recognition tasks, most notably visual classification problems.
branchynet
weixin_30410999的博客
10-31 1348
提前退出 神经网络 https://gitlab.com/kunglab/branchynet/tree/master 修改梯度 gradients 方法，参考： https://stackoverflow.com/questions/43839431/tensorflow-how-to-replace-or-modify-gradient 以及 分布式Tensorflow的梯度累...
探索BranchyNet Chainer：深度学习中的分支网络实现
gitblog_00017的博客
04-24 241
探索BranchyNet Chainer：深度学习中的分支网络实现 项目地址:https://gitcode.com/librahfacebook/BranchyNet_chainer BranchyNet是一款创新性的深度学习模型，其设计灵感来源于人体视觉系统的复杂性和效率。此项目的Chainer实现（GitCode仓库）提供了一个高效且灵活的框架，用于图像分类和检测任务，尤其是针对实时应用场景...
深度学习早停机制（Early Stopping）与早退机制（Early exiting）
m0_73832962的博客
11-28 2978
早停机制，一种机器学习模型调优策略，提升调优效率下图损失值明显经过了欠拟合到过拟合使用早停机制后，模型不再过拟合模型早停是面向模型训练过程的。而在模型内部，也会出现类似的现象，这一现象被叫做过度思考(Overthinking)现象，好比爱迪生让助理计算灯泡的容积。一个博士生助理将问题过度复杂化，计算半天计算不出来。而一个头脑清晰的普通助理反而可以直接用灯泡能容纳的水量，很快就计算出容积。
《ELF》即插即用！解决长尾问题！GT&UIUC联合提出基于Early-Exiting的网络框架，涨点并加速！...
我爱计算机视觉
12-29 1907
关注公众号，发现CV技术之美▊写在前面自然世界中的数据通常遵循长尾分布，大多数样本中只占据少数几个类。这种长尾分布导致分类器倾向于过拟合多数类（majority class）。为了解决这...
基于动态提前退出的预训练模型推理加速简介
Paper weekly
09-16 1946
©PaperWeekly 原创 ·作者|李磊单位|北京大学硕士生研究方向|自然语言处理随着如 BERT、RoBERTa 等预训练模型在一众自然语言处理任务上取得了出色的表现，...
Edge AI: On-Demand Accelerating Deep Neural Network Inference via Edge Computing
weixin_46721170的博客
11-01 1700
题目：Edge AI: On-Demand Accelerating Deep Neural Network Inference via Edge Computing 边缘智能：通过边缘计算按需加速深度神经网络推理 在深度学习中，推理是指将一个预先训练好的神经网络模型部署到实际业务场景中，如图像分类、物体检测、在线翻译等。 由于推理直接面向用户，因此推理性能至关重要，尤其对于企业级产品而言更是如此。 衡量推理性能的重要指标包括延迟（latency）和吞吐量（thro...
【轻量化深度学习】Efficient On-Device Deep Learning Research
Mr.zwX
04-19 2915
Effecient On-Device Deep Learning Research Student : Wenxuan Zeng School : University of Electronic Science and Technology of China ​ Date : 2022.3.25 - 2022.4.3 文章目录Effecient On-Device Deep Learning Research1 What are the major challenges to run an
Deep Learning Resources
ShiningJotes的博客
10-15 9571
转自：https://handong1587.github.io/deep_learning/2015/10/09/dl-resources.html ImageNet Single-model on 224x224 Method top1 top5 Model Size Speed ResNet-101 78.0% 94.0%     ...
预训练语言模型论文分类整理
Kaiyuan_sjtu的博客
07-29 889
© 作者｜王晓磊机构｜中国人民大学高瓴人工智能学院博士生导师｜赵鑫教授研究方向 | 对话系统1. 引言近年来，以 BERT 和 GPT 系列为代表的大规模预训练语言模型（...
Learn Keras for Deep Neural Networks 1st Edition (2019).pdf
07-11
This book is intended to gear the readers with a superfast crash course on deep learning. Readers are expected to have basic programming skills in any modern-day language; Python experience would be ...
DeepPose-Human Pose Estimation via Deep Neural Networks
05-21
on Deep Neural Networks (DNNs). The pose estimation is formulated as a DNN-based regression problem towards body joints. We present a cascade of such DNN regressors which results in high precision ...
SafetyNets: Verifiable Execution of Deep Neural Networks on an Untrusted Cloud
12-17
SafetyNets: Verifiable Execution of Deep Neural Networks on an Untrusted Cloud NIPS2017会议论文
DNN.rar_DNN_deep neural network_dnnmodel_深度DNN_深度神经网络
07-15
深度神经网络搭建，搭建一个深层的神经网络用于训练。
深度神经网络
最新发布
weixin_44337480的博客
05-28 329
深度神经网络在计算机视觉、自然语言处理、语音识别、生物医学影像分析等领域取得了广泛的应用。随着计算能力的提升和算法的优化，深度神经网络在性能和应用范围上不断取得突破。此外，随着硬件架构的改进和专用神经网络加速器的出现，深度神经网络的训练和部署效率将得到进一步提升。深度神经网络是一种由多层神经元组成的网络结构，通常包括输入层、隐藏层和输出层。深度神经网络（Deep Neural Networks，DNNs）是机器学习领域中的一项关键技术，它基于人工神经网络的概念，通过构建多层结构来模拟人脑的学习过程。
深度神经网络详解
科技追踪者的专栏
05-22 548
神经网络（Neural Network）是一种模仿生物神经元网络结构的计算模型，由大量的人工神经元（节点）相互连接组成。每个神经元接受输入信号，通过加权求和和激活函数处理，输出结果传递给下一个神经元层。深度神经网络是一种特殊的神经网络，具有多个隐藏层（Hidden Layer）。与传统的浅层神经网络相比，深度神经网络能够学习更复杂的特征和模式，具有更强的表达能力。深度神经网络作为现代人工智能的核心技术，已经在多个领域取得了显著成果。
深度神经网络——什么是自动编码器？
知来者逆的博客
05-23 946
自动编码器是一种无监督机器学习算法，它通过反向传播进行训练，目标值被设置为与输入值相等。其核心目标是对输入数据进行压缩，转换成一个更小的表示形式，如果需要原始数据，可以从压缩后的数据中重建。
class "cv::dnn::experimental_dnn_v4::Net" 没有成员 "getUnconnectedOutLayersNames"
07-22
您好！关于您提到的问题，根据OpenCV的文档，`cv::dnn::experimental_dnn_v4::Net` 类确实没有成员函数 `getUnconnectedOutLayersNames`。这个函数是在较早的版本中引入的，可能在新版本中被更改或删除了。 如果您需要获取未连接输出层的名称，可以尝试使用其他方法，例如使用 `getLayerNames` 函数获取所有层的名称，然后通过分析网络结构来确定未连接输出层的名称。 另外，请确保您正在使用最新版本的OpenCV，并查阅相关文档以获得更详细的信息。希望能对您有所帮助！如果您有其他问题，请随时提问。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值