Deep Learning理论知识
深度学习理论知识
梦回兵工厂
这个作者很懒,什么都没留下…
展开
-
tensorrt加速原理
tensorrt能够对模型进行加速,主要原因如下:1、降低数据精度模型训练通常使用 32 位或 16 位数据。而TensorRT支持kFLOAT(float32)、kHALF(float16)、kINT8(int8)三种精度的计算。可以通过低精度进行网络推理,达到加速的目的。但是该方法,会对推理精度有一定影响。2、模型压缩tensorrt对网络结构进行重构,把一些能合并的运算合并在一起,从而进行加速。合并方式主要为以下两种:1)垂直合并垂直方向,合并一些网络层。例如,把Conv、BN、Relu三原创 2022-05-23 19:30:00 · 3329 阅读 · 0 评论 -
分类、检测任务数据增强知识
模型训练的整体流程,通常包括数据集制作、数据增强、数据加载、模型训练、模型测试。其中,数据增强的工作,除了包括图像旋转、加噪点等丰富数据特征的工作外,还包括数据裁剪的工作。那么,数据裁剪是必须的吗?为什么要数据裁剪?以及怎样裁剪?1、数据裁剪是必须的吗?不知道,待补充。2、为什么要数据裁剪?倒推一下,模型后面产生的特征图,如果尺寸太大,那么信息的抽象程度不够,难以提取高纬度特征,同时还会带来很高的计算量;如果尺寸太小,又容易丢失必要的特征。因此,需要在前面的输入端,对图像的尺寸进行合理限制,进行原创 2021-07-11 15:00:55 · 425 阅读 · 0 评论 -
增量学习(Incremental Learning)小综述
增量学习(Incremental Learning)小综述增量学习的概念1.1 什么是增量学习人类有终身不断获取、调整和转移知识的能力,虽然在我们的一生中,我们确实倾向于逐渐忘记之前学习过的知识,但只有在极少的情况下,对新知识的学习会灾难性地影响已经学到的知识,这样的学习能力被称为增量学习的能力。具体来讲,「增量学习的能力就是能够不断地处理现实世界中连续的信息流,在吸收新知识的同时保留甚至整合、优化旧知识的能力。」增量学习(Incremental Learning)已经有20多年的研究历史,但转载 2021-04-13 11:43:50 · 421 阅读 · 0 评论 -
[深度学习论文笔记(增量学习)——Incremental Classifier and Representation Learning
深度学习论文笔记(增量学习)——Incremental Classifier and Representation Learning转载 2021-04-12 17:45:56 · 238 阅读 · 0 评论 -
什么是fine-tuning?
转载:https://blog.csdn.net/weixin_42137700/article/details/82107208转载 2021-04-12 14:33:41 · 170 阅读 · 0 评论 -
关于数据整理的问题记录
以下问题,以训练分类模型为例:每一类的图片张数怎样设定?整体原则:越能模拟实际使用场景越好。(1)如果考虑模型的泛化能力,数据越丰富、越五花八门越好;(2)如果只考虑某固定场景的准确率,越接近该场景越好(如某演示场景)。没有具体的张数限定。比如说,“各式各样”的100张图像,可能比只有某个样子的500张图像效果更好。...原创 2021-02-08 10:12:22 · 162 阅读 · 0 评论 -
迁移学习概念、优点、策略
一、 迁移学习的概念迁移学习(Transfer learning) 顾名思义就是把已训练好的模型(预训练模型)参数迁移到新的模型来帮助新模型训练。迁移学习是一种思想,而不是一种方法。具体而言是将某个领域或任务上学习到的知识或模式应用到不同但相关的领域或问题中。这这种思想下,根据问题不同、领域之间的数据分布假设不同,会有不同的方法。二、 迁移学习的好处1、更高的起点:在微调之前,模型的初始性能更高;2、更高的斜率:训练过程中,模型提升的速率更快;3、更高的渐进:训练结束后,得到的模型收敛更好。三原创 2021-01-20 16:16:34 · 9705 阅读 · 2 评论