面向边缘设备的轻量神经网络 --报告

最新推荐文章于 2023-06-06 22:02:31 发布
最新推荐文章于 2023-06-06 22:02:31 发布
阅读量477 收藏
点赞数
分类专栏： 读书笔记 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41521681/article/details/112000394
版权

黄高 清华大学自动化系助理教授
2020.12.10
在这里插入图片描述
在这里插入图片在这里插入图片描述
描述

在这里插入图片描述

在这里插入图片描述
轻量化的模型
神经网络结构搜索
动态模型

transformer在视觉里面的结构设计

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
右边三个 是 结构搜索出来的模型，更大的搜索空间

NAS四个关键问题

离散搜索问题
在这里插入图片描述
怎样将神经网络结构的设计问题 转换为 搜索问题？
在这里插入图片描述

搜索集定义的很好，即使随便挑一个出来 也能做的非常好~
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
基于可微分的方法进行优化

在这里插入图片描述

动态神经网络的工作

在这里插入图片描述
imageNet

在这里插入图片描述
在这里插入图片描述
大模型到底比小模型好在哪里？
总有一些不典型的照片~
在这里插入图片描述
在这里插入图片描述
正确预测出来 有点挑战， 增加几十层 增加作对这种异常模型的机率。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
空间自适应
在这里插入图片描述
人眼不会在所有的像素上面花费同样的时间，
希望神经网络和人眼一样，不在背景上面花费太多时间

在这里插入图片描述

高效 稀疏的快速计算，其他地方通过快速插值来完成~
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
强化学习

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

assassin_sword
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
Imagination正式发布两款神经网络内核 助力边缘设备智能化
CSDN业界要闻
06-20 341
近日，Imagination 2018人工智能研讨会在京举办，此次会议以“王者归来，中国芯，芯AI——顶尖AI边缘计算助力产业创新”为主题，分享了最先进的人工智能技术和应用。作为拥有近30年GPU积累的全球领先IP供应商，Imagination在人工智能领域的投入已经超过5年，公司致力于帮助客户在产品中实现智能化：PowerVRGPU计算运行机器学习应用程序，高度并行的数据驱动计算AI需求；Pow...
【活动报名 | 青源Talk第3期】DenseNet发明者黄高：面向边缘设备的轻量神经网络...
BAAIBeijing的博客
12-07 612
活动议程日期：12月10日（周四）时间主题19:00-19:05开场简介刘知远，清华大学计算机系副教授，智源青年科学家19:05-19:50《面向边缘设备的轻量神经网络》黄高，清华大学...
面向边缘设备的实时目标检测算法的研究与实现
最新发布
Yoker_的博客
06-06 641
在深度学习的驱动下，目标检测技术获得了长足的发展，取得了诸多令人瞩目的成就。然而大多数研究聚焦于检测精度的提升，面向边缘设备的目标检测还未得到充分的研究。相对于实验室的专业显卡，低功耗的边缘设备仅能提供十分之一不到的计算能力，这给目标检测算法的实际部署带来了极大的挑战。此外，真实场景中的目标检测相关任务往往有着低延迟的要求，这进一步加剧了模型计算量与检测精度之间的矛盾。 针对此问题，本文对面向低功耗低算力边缘设备的轻量化目标检测算法进行相关研究并选择合适的模型进行训练，然后部署在移动设备实现实时目标检测。
面向移动与边缘设备的人工智能系统
AITIME_HY的博客
08-24 1646
⬆⬆⬆ 点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！徐梦炜，北京大学信息科学技术学院2015级博士生，师从黄罡教授与刘譞哲副教授，将于2020年加...
轻量级边缘计算设备诞生，更利于解决小场景的AI应用部署
weixin_42780701的博客
09-07 422
不久前，英码全推出的异构双处理模式的边缘计算工作站DEP02A，充分体现了英码边缘计算设备的灵活扩展能力和高性能的优势。这段时间后台收到不少留言，问有没有针对更轻量型的，能满足接入2-4路摄像头的边缘计算设备？ 其实，英码早规划好了高中低多层次的算力支撑产品。今天，小编给大家带来的DEP03A异构双处理边缘计算工作站，正是专门为轻量型场景设计的高性价比边缘计算设备。跟DEP02A一样，DEP03A保留了可扩展2个NPU加速模组的设计，最高算力可达到8.4Tops，下面为大家解读这款英码边缘计算设备的
Python-Mayo面向硬件加速的深度神经网络框架
08-11
**Python-Mayo面向硬件加速的深度神经网络框架** Python-Mayo是一个专为硬件加速设计的深度学习框架，它旨在提供一种高效、灵活的方法来构建和优化深度神经网络（DNNs），以适应不同硬件平台的需求。Mayo的核心特性...
基于轻量级深层卷积神经网络的花卉图像分类系统.pdf
09-25
本文提出了一种基于轻量级深层卷积神经网络的花卉图像分类系统，以解决深层卷积神经网络（DCNN）模型在算力弱、存储成本高的 AI 边缘计算设备上难以高效应用的问题。该系统主要通过重量级网络辅助训练轻量级网络，...
面向植物病害识别的卷积神经网络精简结构Distilled-MobileNet模型.pdf
09-25
这项工作对于资源受限的设备上进行植物病害识别具有重要意义，因为模型的轻量化使得它能够在智能手机、无人机或其他边缘计算设备上实时运行，为精准农业提供实时决策支持。知识蒸馏方法的成功应用表明，通过优化网络...
面向网络边缘应用的新一代神经网络——微型二值神经网络在保持低功耗的同时减少对存储器的需求.pdf
09-26
微型二值神经网络（Tiny Binarized Neural Network，TinBiNN）是一种针对网络边缘应用的新型神经网络架构，旨在在维持低功耗的同时减少对存储器的需求。这一创新技术源自于对传统神经网络计算效率的优化，特别是在...
面向视频监控基于联邦学习的智能边缘计算技术
01-13
随着全球数据量的激增，...结合联邦学习算法，采用轻量级神经网络，分场景训练模型，并将其部署于计算能力受限的边缘设备上。实验结果表明，对比通用神经网络模型，所提方法检测准确度提高18%，模型训练时间有效减少。
在边缘设备上拟合大型神经网络的方法总结
CV技术指南（微信公众号）
06-03 383
前言： 对于任何想要创建可扩展服务的人来说，部署大内存的深度学习算法是一项挑战。从长远来看，云服务是昂贵的。在边缘设备上离线部署模型更便宜，并且还有其他好处。唯一的缺点是它们缺乏内存和计算能力。 本文探讨了一些可用于在内存受限设置中拟合神经网络的技术。不同的技术用于“训练”和“推理”阶段，因此分别讨论。 Training 某些应用程序需要在线学习。也就是说，模型会根据反馈或附加数据进行改进。在边缘部署此类应用程序会对模型造成有形的资源限制。这里有4 种方法可以减少此类模型的内存消耗。...
神经网络、边缘计算（学习笔记）
weixin_41734446的博客
10-23 565
神经网络、边缘计算（学习笔记） 本文摘自这里，侵删 深度神经网络的训练与应用只能在高性能的计算机集群上进行，为此各大科技巨头们都搭建了高性能深度学习平台来处理海量数据。所以最初人们对人工智能和物联网的规划是，大量的数据在云端的数据中心被分析并决策后，再将结果发还给终端。也就是说，云端负责人工智能的部分，边缘端负责数据采集及执行。 但在实际应用中，在云端做智能处理的设想遇到很多问题。 首先，数据传输成本高。随着数据量激增传输带宽压力也不断增加，边缘端的无线传输模块必须支持高速无线传输，这就需要更大的功耗，这与
如何在边缘设备上适配大型神经网络
bhneo的博客
08-24 2331
对于任何想要创建可扩展服务的人来说，部署有内存限制的深度学习算法都是一个挑战。从长远来看，云服务是昂贵的。在边缘设备上离线部署模型更便宜，而且还有其他好处。唯一的缺点是它们缺乏内存和计算能力。 这篇博客探索了一些可以用来在内存受限的设备中适配神经网络的技术。因为“训练”和“推理”阶段用到了不同的技术，所以将它们是分开讨论。 训练 某些应用程序需要在线学习。也就是说，模型要根据反馈或额外的...
智能6G：网络的边缘部署和轻量化
weixin_70923796的博客
05-02 214
在资源有限的条件下保证模型的性能，是一个具有挑战性的工作，包括知识蒸馏以及结构剪枝在内的模型轻量化技术掀起一股新的研究热潮。从一个广阔的视角对边缘计算以及模型轻量化的研究进行了归纳总结，为相关学者提供了全面的背景知识，并通过分析可靠的数据展望该领域的发展前景，讨论边缘计算和轻量化模型结合的重要性。本文聚焦6G“云网融合”前景，对6G的智能业务发展方向进行分析，着重讨论了边缘计算、移动边缘计算、知识蒸馏、结构剪枝的基本原理、关键技术和应用前景，通过数据分析，针对6G智能生态的痛点进行论述，探讨解决方案。
轻量化神经网络卷积设计研究进展
qq_61890005的博客
12-24 950
为此,以近几年流行的轻量化神经网络中的卷积部分为研究对象,详细比对了各类轻量化模型中卷积构成方式的区别,并针对卷积设计的主要思路和特点进行了较为详细的阐述。然后,将卷积分为卷积结构轻量化、卷积模块轻量化和卷积运算轻量化三方面进行介绍,具体通过对各类轻量化神经网络模型中卷积设计的研究,来展示不同卷积的轻量化效果,并对其中优化方法的优缺点进行阐述;卷积的轻量化主要分为卷积结构轻量化、卷积模块轻量化以及卷积运算轻量化三方面。深度可分离卷积将常规三维卷积分解为二维空间的深度卷积和修改通道个数的逐点卷积。
适合边缘计算的轻量级网络模块设计
weixin_41901142的博客
11-12 647
卷积模块包括逐点压缩、跨步卷积组、背靠背逐点卷积。 逐点压缩 开始使用1X1卷积压缩层，有效减少下一层的维数，减少网络结构和计算复杂度。 跨步卷积组 在1X1卷积压缩层后使用多个3X3卷积组，而不是1个简单的卷积层，可以促进1X1卷积压缩层输出的特征向量分成几个小组，独立地进行处理，减少计算复杂度和模块结构复杂度。 背靠背逐点卷积 第一个1X1卷积层有效混合卷积组的输出，产生合并所有组的信息...
5个可以让你的模型在边缘设备上高效推理的算法
AI公园
11-05 1256
点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”作者：James Le编译：ronghuaiyang随着深度学习的发展，神经网络变得越来越大。例如，在Image...
基于 Kubernetes 的边缘云原生
烟云的计算
11-26 1942
目录 文章目录目录边缘计算平台特征极致敏捷的架构多样化基础平台支持多种服务框架兼容丰富开放的网络能力便捷高效的应用开发Why Kubernetes？Kubernetes 在边缘的形态将整个 Kubernetes Cluster 跑在边缘K3sMincrok8s云边协同 边缘计算平台特征 极致敏捷的架构 5G 时代，应用的存在形式发生了很大的变化，如：实例化、部署、运维等都和 NFV 时代有很大不同。NFV 时代大部分应用都采用虚机的形态，应用的实例化、扩缩容等周期都很长，无法满足高流量、高并发的互联网应用需
LFFD：一种用于边缘检测的轻量化快速人脸检测器
TJMtaotao的博客，高校计算机教师
01-09 1879
LFFD: A Light and Fast Face Detector for Edge Devices 原文地址：https://arxiv.org/pdf/1904.10633.pdf Y onghao He∗1,2, Dezhong Xu∗1, Lifang Wu1, Meng Jian1, Shiming Xiang2, and Chunhong Pan2 1Faculty of I...
韩力群编著《人工神经网络教程》- 深入解析与应用
《人工神经网络教程》是一本面向高等教育的教材，由韩力群教授编写，它全面涵盖了人工神经网络的核心知识。书中首先讲解了神经网络的发展背景和研究领域，使读者对这一领域的起源和发展有一个清晰的认识。接着，深入...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值