使用模型
文章平均质量分 70
麻花地
这个作者很懒,什么都没留下…
展开
-
Paddle 模型转 TensorRT加速模型
NVIDIA TensorRT 是一个高性能的深度学习预测库,可为深度学习推理应用程序提供低延迟和高吞吐量。。在这篇文章中,我们会介绍如何使用Paddle-TRT子图加速预测。当模型加载后,神经网络可以表示为由变量和运算节点组成的计算图。如果我们打开TRT子图模式,,Paddle会对模型图进行分析同时使用TensorRT。在模型的。TensorRT除了有常见的OP融合以及显存/内存优化外,还针对性的对OP进行了优化加速实现,降低预测延迟,提升推理吞吐。原创 2023-05-23 15:35:16 · 2268 阅读 · 2 评论 -
神经网络量化硬件实现
各种算子的硬件量化原创 2023-01-18 21:43:46 · 480 阅读 · 0 评论 -
神经网络部署
神经网络部署原创 2023-01-16 20:54:59 · 303 阅读 · 2 评论 -
TensorRT部署神经网络
大佬的TensorRT讲解记录一下优化前优化后融图,多余的kernal去除 速度更快代码TensorRT 后训练量化(PPQ)Quant with TensorRT OnnxParserQuant with TensorRT API原创 2023-01-16 20:14:35 · 296 阅读 · 0 评论 -
神经网络加速基础知识
神经网络加速基础知识原创 2023-01-15 21:34:11 · 134 阅读 · 0 评论 -
Fast-ParC学习笔记
近年来,T型变压器模型在各个领域都取得了长足的进步。在计算机视觉领域,视觉变压器(ViTs)也成为卷积神经网络(ConvNets)的有力替代品,但由于卷积神经网络和视觉变压器都有各自的优点,所以它们无法取代卷积神经网络。例如,vit善于利用注意机制提取全局特征,而ConvNets则因其强烈的归纳偏差而更有效地建模局部关系。一个自然产生的想法是结合ConvNets和vit的优点来设计新的结构。本文提出了一种新的基本神经网络算子——位置感知圆卷积(ParC)及其加速版Fast-ParC。原创 2022-11-09 11:17:25 · 1634 阅读 · 0 评论 -
AdaptFormer学习笔记
尽管预训练的视觉转换器(ViT)在计算机视觉方面取得了巨大的成功,但使ViT适应各种图像和视频任务是具有挑战性的,因为它具有繁重的计算和存储负担,其中每个模型需要独立和全面地微调以适应不同的任务,这限制了它在不同领域的可移植性。为了应对这一挑战,我们提出了一种有效的自适应方法,即AdaptFormer,它可以有效地将预训练的ViTs适应到许多不同的图像和视频任务中。它拥有比现有技术更吸引人的几个优点。...原创 2022-08-06 11:41:46 · 1180 阅读 · 0 评论 -
AlexNet论文笔记
AlexNet论文笔记算法概述AlexNet网络可以被称为卷积神经网络的“开山之作”,精度和参数量相对后面的模型不是很优秀,但是卷积神经网络之所以可以迅速崛起,AlexNet起着至关重要的作用。深度卷积卷积神经网络卷积层,卷积过程:池化层,下采样过程:减少feature map大小,减少计算量1998年,LeCun提出的LeNet-5,可以实现数字的分类ReLU激活函数ReLU函数的优点:模型并行使用两个GPU进行模型训练,卷积层全部使用两路G原创 2022-03-27 21:41:09 · 3057 阅读 · 0 评论 -
CS231n学习笔记-损失函数、损失函数与梯度下降
第三讲 线性分类、损失函数与梯度下降问题:线性分类器是不能对非线性数据分类损失函数Multiclass SVM lossSVM(支持向量机)采取中庸的方法进行分类,分类时采用最大适配进行分类,不用精细到每个类公式:数学意义:将分类错误的分数Sj,减去分类正确的分数Syi,再加1.取该数和0二者的最大值函数图像类似于铰链,所以称为“Hinge loss”举例说明:从上面的例子可以看出,在一个分类中,如果错误分类的分值小于(正确分类-1),那最后的loss原创 2022-01-05 15:23:02 · 1798 阅读 · 0 评论 -
Tensorflow模型操作常用函数总结
面将函数模型操作常用函数总结。如表所示:表2 模型操作相关函数 函数 tf.train.Saver(var_list=None,reshape=False, sharded=False,max_to_keep=5, keep_checkpoint_every_n_hours=10000.0, name=None,r...原创 2021-07-12 15:47:15 · 351 阅读 · 0 评论