![](https://img-blog.csdnimg.cn/20190918140037908.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
深度学习知识总结
文章平均质量分 95
总结深度学习知识点,包括各种激活函数、损失函数、优化器、经典算法和BoF等模块。
Mr.小梅
这个作者很懒,什么都没留下…
展开
-
深度学习知识点总结
本专栏主要总结深度学习中的知识点,从各大数据集比赛开始,介绍历年冠军算法;同时总结深度学习中重要的知识点,包括损失函数、优化器、各种经典算法、各种算法的优化策略Bag of Freebies (BoF)等。目录1. 重要比赛历年冠军1.1. 数据集1.1.1. ImageNet1.1.2. PASCAL VOC1.1.3. MS COCO1.2. 历年冠军2. 常用2.1. 卷积计算方式2.2. 激活函数2.3. 损失函数2.4. 优化器2.4.1. SGD2.4.2. Ada原创 2022-04-07 09:31:36 · 5515 阅读 · 1 评论 -
图解Attention
以德语翻译成英语为例,图解Attention的整体计算过程,包括详细的GPU图解,attention图解,Encoder和Decoder图解。原创 2023-01-29 17:00:24 · 641 阅读 · 0 评论 -
YOLO系列目标检测算法——PP-YOLOE
本文对PPYOLOv2进行了一些更新,包括可扩展的backbone-neck架构、高效的任务对齐head、高级标签分配策略和精确的目标损失函数,这一切的改进形成了PP-YOLOE。同时,提出了s/m/l/x模型,这些模型可以涵盖实际中的不同场景。原创 2022-12-29 16:55:35 · 1615 阅读 · 1 评论 -
YOLO系列目标检测算法-YOLOv3
本文介绍YOLO系列文章之YOLOv3。YOLOv3在YOLOv2基础上做了一点小小的改动,网络变得稍大了一点但更加准确。改动1,分类使用逻辑回归而不再使用softmax;改动2,多尺度预测目标,共使用3个不同尺度的特征图,能够预测不同尺度的目标;改动3,特征提取网络新增残差连接,层数扩大到53层,命名为Darknet-53。原创 2022-09-27 14:55:10 · 1935 阅读 · 0 评论 -
YOLO系列目标检测算法——YOLOX
本文介绍了YOLO系列的一些有效的更新,得到了一个名为YOLOX的高性能anchor-free目标检测器。YOLOX配备了一些最新的先进的检测技术,即解耦头,anchor-free,和先进的标签分配策略,YOLOX在所有模型大小的速度和准确性与其他算法之间实现了更好的权衡。值得注意的是,本文将YOLOv3架构在COCO上的准确率提高到了47.3%,比目前的最佳实践高出3.0%。原创 2022-12-20 14:57:42 · 2458 阅读 · 0 评论 -
YOLO系列目标检测算法——YOLOS
YOLOS不是一个高性能的目标检测器,而是为了揭示Transformer从图像识别到目标检测的多功能性和可转移性;本文中探讨了在中型ImageNet-1k数据集上预训练的vanilla ViT在更具挑战性的COCO目标检测基准中的可转移性。证明了二维目标检测可以以纯粹的seq-to-seq的方式完成,并且具有最小的额外归纳偏置。在COCO上的表现还是可以的,这些初步的结果证实其是有意义的,表明Transformer对各种下游任务的可转移性和通用性。原创 2022-12-19 15:09:15 · 2043 阅读 · 1 评论 -
YOLO系列目标检测算法——YOLOR
从一个独特的角度分析问题,人类理解事物可以通过正常的学习(称之为显性知识)或者潜意识地(称之为隐性知识)来学习,就可以从多个角度分析问题,所以考虑让模型也将显性知识和隐性知识一起编码,和人一样;提出了一个可以完成各种任务的统一网络,它通过整合显性知识和隐性知识来学习一般表示,并且可以通过这种一般表示来完成各种任务;在隐性知识学习过程中引入了kernel space alignment、prediction refinement和多任务学习;原创 2022-12-15 17:23:20 · 1740 阅读 · 2 评论 -
YOLO系列目标检测算法——PP-YOLOv2
本文对PP-YOLO进行了一些更新,它形成了一个名为PPYOLOv2的高性能目标检测器;与其他目标检测器,如YOLOv4和YOLOv5相比,PP-YOLOv2在速度和精度之间取得了更好的平衡;在本文中,探讨了一系列技巧,并展示了如何将这些技巧结合在PP-YOLO检测器上,并证明了它们的有效性。原创 2022-12-14 16:29:18 · 1674 阅读 · 0 评论 -
YOLO系列目标检测算法——PP-YOLO
由于硬件的限制,往往需要舍弃准确率来确保算法的推理速度。本文的目的是实现一种具有相对平衡的既有效又高效的目标检测器,可以直接应用于实际的应用场景,而不是提出一种新的检测模型。以YOLOv3为基础进行开发,主要尝试结合现有的各种几乎不增加模型参数和FLOPs的多个的tricks,以尽可能提高检测器的精度,同时确保速度几乎不变。由于本文的所有实验都是基于PaddlePaddle进行的,所以称之为PP-YOLO。原创 2022-12-06 14:23:03 · 2751 阅读 · 0 评论 -
YOLO系列目标检测算法-YOLOv4
本文介绍YOLO系列文章之YOLOv4。YOLOv4中第一次提出了Neck概念。YOLOv4相当于一个大集合,把优秀的算法、技巧和方法集成在一起。文中总结迄今为止所有的用于神经网络的技巧和方法,分为BoF(只改变训练策略或只增加训练成本,而不增加推理成本的方法)和BoS(那些只会少量增加推理成本,但能显著提高目标检测精度的模块和后处理方法)。并对这些方法进行性能对比,最终选择了一套最佳的组合,即为YOLOv4。原创 2022-09-21 16:58:01 · 1399 阅读 · 0 评论 -
YOLO系列目标检测算法-YOLOv1
本文介绍YOLO系列文章之YOLOv1。YOLO把目标检测当做回归任务,直接预测目标,而不需要多阶段处理。可以说是一阶段目标检测算法的开端。原创 2022-09-29 14:37:58 · 2035 阅读 · 2 评论 -
YOLO系列目标检测算法-YOLOv2
本文介绍YOLO系列文章之YOLOv2。YOLOv2专注于解决YOLOv1中定位错误多、召回率低等缺点。使用多种先进的技术方法应用到YOLO中,通过实验对比结果,最终选用BN、使用高分辨率、全卷积、新的网络结构、通过聚类选择anchor、直接预测检测结果、使用更具细粒度的特征图、多尺度训练这些改进;提出了新的分类网络Darknet-19;另外提出了一种联合训练分类和检测数据的方法,使用此方法,训练得到YOLO9000,可以在缺乏检测标注数据的情况下,也能精准定位目标,可以实时运行并检测9000多种目标类别。原创 2022-09-27 17:09:18 · 3176 阅读 · 2 评论 -
YOLO系列目标检测算法-Scaled-YOLOv4
本文介绍YOLO系列文章之Scaled YOLOv4。Scaled YOLOv4中提出一种网络缩放技术,使得YOLOv4可以上下伸缩,以适用于大型/小型模型。将CSP应用到各式CNN中,可以减少参数和计算量,提高准确性,减少推理时间,因此CSP化了Backbone、neck和SPP;分别分析了对于低端设备和高端设备对模型缩放的研究;使用不同的技术设计了小型、大型模型,都取得了优异的性能。原创 2022-09-21 11:02:49 · 1920 阅读 · 1 评论 -
YOLO系列目标检测算法-YOLOv5
本文介绍YOLO系列文章之YOLOv5。YOLOv5在网络结构,激活函数,各种数据增强策略,训练策略等部分进行修改,以及对检测头Head公式进行完善,得到了很好的检测效果。原创 2022-09-16 17:05:59 · 2278 阅读 · 0 评论 -
YOLO系列目标检测算法-YOLOv6
YOLO系列文章之YOLOv6。本文通过分析以往YOLO系列算法和最新技术,观察到几处需完善的地方,通过对网络设计、标签分配、损失函数、数据增强、工业便利化改进、量化和部署等进行修改,设计了EfficientRep、SCPStackRep Block、Rep-PAN、decoupled head等结构,最终得到了YOLOv6系列算法。原创 2022-09-15 16:10:11 · 10792 阅读 · 0 评论 -
YOLO系列目标检测算法-YOLOv7
YOLO系列文章之YOLOv7。本文提出了一种新的实时目标检测器体系结构和相应的模型缩放方法。在研究过程中,发现了重参数化模块的替换问题和动态标签分配的分配问题。为了解决这个问题,提出了一种可训练的bag-of-freebies,在此基础上,开发了YOLOv7系列目标检测系统.原创 2022-09-13 13:53:28 · 7229 阅读 · 3 评论 -
轻量级神经网络算法系列文章-MobileNet v3
本文介绍轻量级MobileNetv3,通过修改NAS和NetAdapt进行网络搜索得到初始模型结构。后修改对模型进行4处改进(尾部层修改、初始层通道数修改、新的激活函数和加入SE模块),等等。原创 2022-08-31 17:01:29 · 2729 阅读 · 0 评论 -
轻量级神经网络算法系列文章-ShuffleNet v2
ShuffleNet v2发现只使用FLOPs不能直接决定网络的速度,而影响速度的还有(MAC)和并行度(degree of parallelism)两个因素,通过对这两个影响因素分析,提供了4个实用指南G1/G2/G3/G4,以ShuffleNet v1为基准,根据4个指南对其修改,得到高效率的ShuffleNet v2....原创 2022-08-30 09:20:27 · 1086 阅读 · 1 评论 -
轻量级神经网络算法系列文章-ShuffleNet v1
本文介绍ShuffleNet v1,关键点:1、大量的1×1卷积也是很消耗资源的,所以修改1×1卷积为1×1 group卷积(即**pointwise group convolution**)2、1×1 gruop卷积有会导致一些缺点,每个group卷积之内只关注本组信息,为弥补这些缺点,提出**channel shuffle**,使各个group之间信息可以交互...............原创 2022-08-26 17:17:38 · 980 阅读 · 3 评论 -
轻量级神经网络算法系列文章-MobileNet v2
本文提出一个新的结构MobileNet v2,它专门为移动和资源受限的环境量身定制,在各项任务中都取得最佳表现。MobileNet v2基于反向残余结构(inverted residual structure),其中快捷连接在薄瓶颈层之间。中间层expansion layer使用轻型深度卷积(depthwise conv)来过滤非线性源的特征。并且研究发现,为了不丢失重要特征,去除窄层中的非线性层。原创 2022-08-25 13:54:54 · 1022 阅读 · 0 评论 -
轻量级神经网络算法-MobileNet v1
本文介绍MobileNet v1。该算法使用深度可分离卷积代替常规卷积,大幅降低参数量和计算量;设置超参数α(宽度系数),用于调节每层特征图的输入输出通道数,来降低模型参数量和计算量;设置超参数ρ(分辨率系数),用于调节输入到网络的图片分辨率,量降低模型计算量。原创 2022-08-24 16:41:19 · 534 阅读 · 0 评论 -
轻量级神经网络算法-SqueezeNet
本文介绍SqueezeNet,文中提出三种策略来降低模型参数量、提升准确率。原创 2022-08-24 13:46:15 · 1436 阅读 · 6 评论 -
轻量级神经网络算法-总结对比
近20个轻量级神经网络算法的对比。原创 2022-08-24 09:25:06 · 1065 阅读 · 1 评论 -
从RNN到Attention到Transformer系列-Transformer介绍及代码实现
深度学习知识点总结专栏链接:深度学习知识点总结_Mr.小梅的博客-CSDN博客本专栏主要总结深度学习中的知识点,从各大数据集比赛开始,介绍历年冠军算法;同时总结深度学习中重要的知识点,包括损失函数、优化器、各种经典算法、各种算法的优化策略Bag of Freebies (BoF)等。本章介绍从RNN到Attention到Transformer系列-Transformer介绍及代码实现。3.5Transformer介绍参考论文《Attention is All You Need》。..原创 2022-05-19 10:06:24 · 955 阅读 · 0 评论 -
从RNN到Attention到Transformer系列-Attention介绍及代码实现
深度学习知识点总结专栏链接:深度学习知识点总结_Mr.小梅的博客-CSDN博客本专栏主要总结深度学习中的知识点,从各大数据集比赛开始,介绍历年冠军算法;同时总结深度学习中重要的知识点,包括损失函数、优化器、各种经典算法、各种算法的优化策略Bag of Freebies (BoF)等。本章介绍从RNN到Attention到Transformer系列-Attention介绍及代码实现。目录3.4 Attention介绍3.4.1Encode3.4.2Attention3.4...原创 2022-05-12 18:50:36 · 1147 阅读 · 0 评论 -
从RNN到Attention到Transformer系列-Encode-Decode(Seq2Seq)介绍及代码实现
深度学习知识点总结专栏链接:深度学习知识点总结_Mr.小梅的博客-CSDN博客本专栏主要总结深度学习中的知识点,从各大数据集比赛开始,介绍历年冠军算法;同时总结深度学习中重要的知识点,包括损失函数、优化器、各种经典算法、各种算法的优化策略Bag of Freebies (BoF)等。本章介绍从RNN到Attention到Transformer系列-Decode-Encode(Seq2Seq)目录3.3Encode-Decode(Seq2Seq)3.3.1Encode-Decode..原创 2022-05-12 14:49:40 · 1224 阅读 · 1 评论 -
从RNN到Attention到Transformer系列-RNN介绍、手动计算验证
深度学习知识点总结专栏链接:深度学习知识点总结_Mr.小梅的博客-CSDN博客本专栏主要总结深度学习中的知识点,从各大数据集比赛开始,介绍历年冠军算法;同时总结深度学习中重要的知识点,包括损失函数、优化器、各种经典算法、各种算法的优化策略Bag of Freebies (BoF)等。本章介绍RNN系列-RNN目录3.1 RNN3.1.1 RNN介绍3.1.2 PyTorch中RNN的计算3.1.3RNN手动计算验证3.1.4RNN存在的问题3.1 RNN3..原创 2022-05-11 17:13:06 · 649 阅读 · 0 评论 -
深度学习知识点总结:优化器总结
深度学习知识点总结专栏链接:深度学习知识点总结_Mr.小梅的博客-CSDN博客本专栏主要总结深度学习中的知识点,从各大数据集比赛开始,介绍历年冠军算法;同时总结深度学习中重要的知识点,包括损失函数、优化器、各种经典算法、各种算法的优化策略Bag of Freebies (BoF)等。本章介绍深度学习训练过程中用到的优化器。编辑中。。。目录2.4. 优化器2.4.1. SGD2.4.2. Adagrad2.4.3. RMSprop2.4.4. Adadelta2.4.5.原创 2022-04-18 19:50:04 · 1288 阅读 · 0 评论 -
深度学习知识点总结:深度学习常用公式总结
深度学习知识点总结专栏链接:深度学习知识点总结_Mr.小梅的博客-CSDN博客本专栏主要总结深度学习中的知识点,从各大数据集比赛开始,介绍历年冠军算法;同时总结深度学习中重要的知识点,包括损失函数、优化器、各种经典算法、各种算法的优化策略Bag of Freebies (BoF)等。本章介绍深度学习中的常用公式目录2.1 常用公式2.1.1 卷积计算方式2.1.2 常用导数计算公式2.1.3 常用公式2.1 常用公式2.1.1 卷积计算方式bs:bat...原创 2022-04-14 15:44:10 · 3645 阅读 · 0 评论 -
深度学习知识点总结:损失函数总结
深度学习知识点总结专栏链接:深度学习知识点总结_Mr.小梅的博客-CSDN博客本专栏主要总结深度学习中的知识点,从各大数据集比赛开始,介绍历年冠军算法;同时总结深度学习中重要的知识点,包括损失函数、优化器、各种经典算法、各种算法的优化策略Bag of Freebies (BoF)等。本章介绍多种损失函数。2.3损失函数 深度学习中主要包含三类任务,分类、回归和分割,不同的任务需使用不同的损失函数。例如,分类任务中不能使用平方损失、L1Loss等,因为2.3.1 L1L...原创 2022-04-11 09:08:34 · 3407 阅读 · 0 评论 -
深度学习知识点总结-激活函数
深度学习知识点总结专栏链接:https://blog.csdn.net/qq_39707285/article/details/124005405 本专栏主要总结深度学习中的知识点,从各大数据集比赛开始,介绍历年冠军算法;同时总结深度学习中重要的知识点,包括损失函数、优化器、各种经典算法、各种算法的优化策略Bag of Freebies (BoF)等。本章介绍多种激活函数文章目录2.2.激活函数2.2.1. 激活函数汇总2.2.2. 激活函数总结分析2.2.激活函数任何神经网络的主要目标都原创 2022-04-07 13:25:31 · 1603 阅读 · 2 评论 -
重要比赛历年冠军
深度学习知识点总结专栏链接:https://blog.csdn.net/qq_39707285/article/details/124005405 本专栏主要总结深度学习中的知识点,从各大数据集比赛开始,介绍历年冠军算法;同时总结深度学习中重要的知识点,包括损失函数、优化器、各种经典算法、各种算法的优化策略Bag of Freebies (BoF)等。本章介绍各数据集以及历年冠军文章目录前言1. 重要比赛历年冠军1.1. 数据集1.1.1. ImageNet1.1.2. PASCAL VOC1.原创 2022-04-07 10:44:07 · 2514 阅读 · 1 评论