82、手写的模型如何模拟权值预加载

最新推荐文章于 2025-06-14 09:35:25 发布
最新推荐文章于 2025-06-14 09:35:25 发布
阅读量94 收藏
点赞数
分类专栏： CV视觉算法入门与调优 文章标签： 算法 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dongtuoc/article/details/135920632
版权
本文介绍如何在手写模型中实现权值预加载以提高推理性能。通过预申请内存模拟GPU显存，将模型权值加载到全局变量，避免推理时重复加载，提升了模型运行速度。详细步骤包括预申请内存并加载、取用权值进行推理以及解释优化关键区别。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

上一节介绍了模型的权值预加载方法，以及为什么要做权值预加载。

对于我们自己手写的模型，如何来完成权值预加载呢？其实大概分为以下几步：

  1. 申请足够大的内存来存放模型的权值，这一步模拟的是 GPU 拥有足够的显存来存放模型权值

  2. 将模型的所有权值加载到预申请的足够大的内存中，并且保持在推理过程中，这些内存中的权值数据不变，模拟的是GPU中权值驻留在显存空间中的操作。

  3. 运行神经网络进行推理，运行到某一需要权值的层时，直接从已经申请的内存对应的位置中读取权值，然后进行推理计算。

具体到这个项目代码中，是通过以下方式来实现的。这一优化的代码目录在：cv_learning_from_scratch: 课程[CV视觉从算法到调优]代码 - Gitee.com

了解本专栏 订阅专栏 解锁全文 超级会员免费看
从零开始大模型开发与微调：实战基于PyTorch 2.0的手写体识别模型
AI天才研究院
06-27 515
在当今数字化时代，图像识别已经成为许多领域不可或缺的一部分，例如自动驾驶、医疗影像分析、安全监控以及教育系统中的自动评分等。其中，手写体识别作为图像识别的一个重要分支，在文档处理、笔迹签名验证等领域具有广泛的应用前景。传统的手写体识别方法往往依赖于复杂的特征提取和手工设计的分类器，然而，随着深度学习技术的发展，特别是近年来大规模预训练模型的兴起，我们可以通过更高效、灵活的方式来解决这一问题。构建手写体识别模型时，首先需要定义网络架构，一般包含输入层、多个卷积层、池化层、全连接层以及输出层。
81、计算机基础：数据流加载以及为什么要做权值预加载
AI与算法都要通俗易懂
01-22 171
本节我们开启对手写的 resnet50 模型的第二个优化，对应到仓库中的优化代码为本次优化内容为模型的权值预加载。将模型的权值进行预加载，可以减少甚至消除模型推理过程中冗余的内存操作，降低推理延迟，大幅提高模型性能。所以，接下来的几节内容，会围绕这个优化来展开。在开始这个优化之前，先介绍一下计算机的基础知识，以及为什么要做这个优化。大家可能听说过冯诺依曼架构，事实上，现在很多的计算机（芯片）都是基于冯诺依曼架构来进行的设计。冯诺依曼架构的特点，总结下来可以这么理解：计算部件和存储部件的分离。
Tensorflow 加载预训练模型和保存模型
fenglepeng的博客
09-08 6290
使用tensorflow过程中，训练结束后我们需要用到模型文件。有时候，我们可能也需要用到别人训练好的模型，并在这个基础上再次训练。这时候我们需要掌握如何操作这些模型数据。看完本文，相信你一定会有收获！ 一、Tensorflow模型文件 我们在checkpoint_dir目录下保存的文件结构如下： |--checkpoint_dir | |--checkpoint | |--MyModel.meta | |--MyModel.data-00000-of-00001 | |--MyModel.inde
Tensorflow加载预训练模型和保存模型
Beryl的博客
01-02 492
转载自：https://blog.csdn.net/huachao1001/article/details/78501928 使用tensorflow过程中，训练结束后我们需要用到模型文件。有时候，我们可能也需要用到别人训练好的模型，并在这个基础上再次训练。这时候我们需要掌握如何操作这些模型数据。看完本文，相...
Tensorflow加载预训练模型和保存模型（ckpt文件）以及迁移学习finetuning
jacke121的专栏
08-13 8486
使用tensorflow过程中，训练结束后我们需要用到模型文件。有时候，我们可能也需要用到别人训练好的模型，并在这个基础上再次训练。这时候我们需要掌握如何操作这些模型数据。看完本文，相信你一定会有收获！ 1 Tensorflow模型文件 我们在checkpoint_dir目录下保存的文件结构如下： |--checkpoint_dir | |--checkpoint | |--MyModel.meta | |--MyModel.data-00000-of-0..
基于CNN的MINIST手写数字识别项目代码以及原理详解
热门推荐
IronmanJay
12-25 3万+
本篇博文从整个项目数据集的导入到模型的构建以及最终的模型训练与测试和自定义手写数字识别，均进行了极为细致的代码分析。不仅如此，本文还将整个项目用到的所有技术以及知识点和原理都进行了极为详细的解释，利用图片以及公式力争将原理讲述的通俗易懂。通过本文，不仅可以学会手写数字识别项目的搭建过程，还可以搞懂CNN在手写数字识别项目中的应用以及背后的原理。当然，由于本人水平问题，可能有些问题解释的并不是很清晰，如有问题，还请读者与我反馈。最近也在学习这方面的知识点，读者感兴趣也可和我多交流！下面就正式开始本篇博文的内容
Tensorflow加载预训练模型和保存模型（ckpt文件）
ojbko的博客
10-12 1851
转载自：https://blog.csdn.net/huachao1001/article/details/785019...
《深度学习》卷积神经网络CNN 实现手写数字识别
wx_AHao1004Y的博客
09-23 2716
卷积神经网络是一种深度学习模型，主要应用于图像和视频处理任务。它的设计灵感来源于生物视觉系统的工作原理。"""定义神经网络"""class CNN(nn.Module): # 继承nn算法中的Moduledef __init__(self): # 这里输入大小为(1,28,28)self.conv1 = nn.Sequential( # 第一层卷积， 将多个层组合成一起。nn.Conv2d( # 二维卷积成，2d一般用于图像，3d用于视频数据(多一个时间维度)，1d一般用于结构化的序列数据。
pytorch模型保存格式
zls
05-04 9762
pytorch保存数据 保存用到torch.save函数，注意该函数第一个参数可以是单个值也可以是字典，字典可以存更多你要保存的参数（不仅仅是权重数据） pytorch读取数据 pytorch读取数据使用的方法和我们平时使用预训练参数所用的方法是一样的，都是使用load_state_dict这个函数。 三个核心功能（保存和加载模型） 1.torch.save：将序列化的对象保存到disk。这个函数...
CNN LeNet5模型实战：手写数字识别与模型PPT教程
这可能是一个简单的脚本，用于加载预训练的CNN模型，输入测试数据，并输出模型对测试数据的识别结果。该文件是验证模型性能和进行演示的重要环节。 综上所述，文件中涉及的知识点包括了深度学习和计算机视觉的基础...
深度学习入门:如何从零开始搭建自己的深度学习模型?
AI天才研究院
08-13 464
深度学习（Deep Learning）近几年已经成为人们关注的热点话题。从2012年的ImageNet竞赛开始，激起了众多研究者的兴趣，也带来了越来越多的应用场景。随着技术的飞速发展，深度学习已经成为了各个领域最具潜力的技术。作为一名AI科研工作者，了解、掌握深度学习相关知识可以帮助你更好地理解并解决实际问题。本文将全面介绍深度学习的基础知识、技术要点及其应用。文章的内容涵盖：1.深度学习的历史演变2.深度学习的基本概念和术语3.神经网络的结构、原理及特点4.激活函数的作用及其选择。
RS-232通讯+SHA-256+AES_ECB - 128算法
ladack的博客
06-11 877
本文介绍了一个基于C语言的串口通信加密程序实现方案
【DRL】最简单的策略梯度(Policy Gradient)算法
xfxuezhang.cn
06-12 412
最简策略梯度(Policy Gradient)算法的实现
用Java实现常见排序算法详解
m0_66884848的博客
06-13 859
本文介绍了6种常见排序算法的Java实现，包括冒泡、选择、插入排序等基础算法，以及快速、归并、堆排序等高效算法。对每种算法从基本思想、时间复杂度分析和Java代码实现三个方面进行详细说明，展示了排序算法的核心逻辑和性能特点。这些排序方法在计算机科学中具有广泛应用，理解其原理和实现有助于提升编程能力和算法思维。
最小费用最大流算法
最新发布
u011322421的博客
06-14 365
最小费用最大流算法通过SPFA寻找费用最短增广路，使用链式前向星存储正向边和反向边。每次沿最便宜路径增广流量，更新边容量和反向边，最终获得最大流量和最小费用。该算法的核心在于反向边的"反悔"机制和贪心选择策略。时间复杂度主要取决于SPFA的执行次数，适用于解决带费用约束的网络流优化问题。
C语言二维数组的使用详解
轩宇的博客
06-13 601
二维数组是C语言中处理表格、矩阵等结构化数据的重要工具。它本质上是一种特殊的一维数组，其中每个元素又是一个一维数组。下面将详细介绍二维数组的使用方法、内存布局、访问方式及常见应用场景。
算法刷题-回溯
2301_81754159的博客
06-09 977
今天给大家分享的还是一道关于dfs回溯的问题，对于这类问题大家还是要多刷和总结，总体难度还是偏大。对于回溯问题有几个关键点：1.首先对于这类回溯可以节点可以随机选择的问题，要做mian函数中循环调用dfs（i，obj），同时在dfs中要对后面的节点再次进行调用，还是使用dfs。2.对于使用过的节点用vis进行记录，而递归出口则是flag。3.注意在dfs选择后，要对这一次的递归选择进行回溯，下面这道题在dfs内的调用以及main函数中的调用都有显示。
可视化图解算法50：最小的K个数
weixin_42117918的博客
06-10 707
对于数据结构与算法，我们总结了一套【可视化+图解】方法，依据此方法来解决相关问题，算法变得易于理解，写出来的代码可读性高也不容易出错。
【算法专题训练】01、整数基础知识
Tim_10的博客
06-10 401
【代码】【算法专题训练】01、整数基础知识。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

董董灿是个攻城狮

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值