qq_40992158的博客

pass2 对整个文章过一遍，不需要知道所有细节。着重关心图表，作者方法和别人方法如何对比，差别如何。可以把相关文献圈出来，把重要文献考虑是否读一遍。可以把论文中不懂的词圈出来做一个文档，然后去搜这个词是什么，在文档中进行解释。反复遇到的要反复进行记录，记录次数多了就记住某些名词什么意思了。pass1 title->abs->conclusion 读完这三个部分大致就知道论文在讲什么，然后可以看一看方法和实验重要的图表。pass3 提出问题，用什么方法解决这个问题。作者没有做下去的东西，自己怎么做？

不是图像中所有的区域对任务的贡献都是同样重要的，只有任务相关的区域才是需要关心的，比如分类任务的主体，空间注意力模型就是寻找网络中最重要的部位进行处理。自注意力机制是注意力机制的一种，解决神经网络接收的输入是很多大小不一的向量，并且不同向量之间又一定的关系，但实际训练的时候无法发挥这些输入之间的关系导致模型训练结果效果极差(机器翻译序列到序列，语义分析等)，针对全连接神经网络对于多个相关的输入无法建立起相关性问题，可以通过自注意力机制解决，实际上让机器注意到整个输入中不同部分之间的相关性。

翻译我们重新审视现代卷积神经网络（CNN）中的大内核设计。受视觉变换器（ViTs）最新进展的启发，在本文中，我们证明了使用几个大卷积核而不是一堆小核可能是一个更强大的范例。我们提出了五个准则，例如：应用重新参数化的大深度卷积，设计高效的高性能大核CNN。根据指导方针，我们提出了RepLKNet，这是一种纯CNN架构，其内核大小高达31×31，而不是常用的3×3。

翻译深层的神经网络越来越难以训练。我们提供了一个残差学习框架用来训练那些非常深的神经网络。我们重新定义了网络的学习方式，让网络可以直接学习输入信息与输出信息的差异(即残差)，而不必学习一些无关的信息。我们提供了全面的证据来说明这种残差网络更加容易进行优化，而且随着网络层数的增加，准确率也就增加。在ImageNet的数据集中，我们证实了在深度达到152层的残差网络上(相当于VGG net的8倍)，网络仍然有着较低的复杂度。

翻译在这项工作中，我们提出了保留网络（RETNET）作为大型语言模型的基础架构，同时实现训练并行性、低成本推理和良好性能。我们从理论上推导了循环和注意力之间的关系。然后，我们为序列建模提出了保留机制，支持三种计算范式，即并行、递归和分块递归。具体而言，并行表示允许进行训练并行性。递归表示使得低成本的O(1)推理成为可能，这提高了解码吞吐量、延迟和GPU内存，而不牺牲性能。分块递归表示有助于使用线性复杂性进行高效的长序列建模，其中每个分块在并行编码的同时递归地总结这些分块。

翻译主流的序列转换模型都是基于复杂的循环神经网络或卷积神经网络，且都包含一个encoder和一个decoder。表现最好的模型还通过attention机制把encoder和decoder联接起来。我们提出了一个新的、简单的网络架构，Transformer. 它只基于单独的attention机制，完全避免使用循环和卷积。在两个翻译任务上表明，我们的模型在质量上更好，同时具有更高的并行性，且训练所需要的时间更少。我们的模型在 WMT2014 英语-德语的翻译任务上取得了28.4的BLEU评分。

YOLOV-7在5-160FPS上无论在速度还是精度上都已超过了当时所致的目标探测器，并且只在MS COCO数据集训练YOLOV-7。

一.AbstractGoogleNet提出了一种Inception的神经网络架构，主要特点是提高了网络内计算资源的利用率并且允许增加网络深度。决策架构基于Hebbian原则和多尺度处理优化质量，最终在ILSVRC14提交了GoogLeNet-22二.Introduction简述了一下神经网络的发展，提出了一种代号Inception的网络架构并在ILSVRC2014得以证实其性能三.Related Work。

VggNet全部采用3*3卷积核提取特征，并且将神经网络层数提高到16-19层(AlexNet只有8层，也可以说11层)并且在 ImageNet-2014在本地化和分类两个方向分别获得第一和第二名，并且表现最好的两个模型已经投入到未来研究中。

AlexNet训练了一个大型的深度卷积神经网络，该神经网络由5个卷积层和三个全连接层组成，有6000万个参数和65万个神经元 ，其中卷积层中部分是最大池化层，最后由1000路softmax组成。为了更好的正则化，使用了dropout，并被证明效果很好。最后在ILSVRC-2012竞赛中以15.3%的错误率远超第二26.2%。

本文介绍了YOLO系列的一些改进经验，形成了一种新型的高性能探测器——YOLOX。我们将YOLO检测器切换到无锚方式，并采用其他先进的检测技术，即解耦头和领先的标签分配策略SimOTA，在大范围的模型中实现最先进的结果:对于参数仅为0.91M、FLOPs为1.08G的YOLO- Nano，在COCO 上获得25.3%的AP，比NanoDet高出1.8%;对于工业中使用最广泛的探测器之一YOLOv3，我们将其在COCO上的AP提高到47.3%，比当前最佳实践的 AP 高出 3.0%;

YOLOV6在摘要部分提出V6已经在mAP和FPS上超越V5-S，X-S等版本。

作者AlexeyB结合一些新技术和理念对V3进行改进，并且大大提高了FPS和Ap。

随着ResNet提出并逐渐被应用，YOLOV3提出了一种网络层数更多的DarkNet-53来代替V2中的Darknet-19,并且同实现对比DarkNet的浮点运算更少，速度要比ResNet-152更快。和V2选择5个先验框不同的是，V3根据大中小三种Scale共选择9个先验框，并且使用类似于特征金字塔网络的概念使三个Scale间相互融合，以更好的预测图片中更小的物体。2>为了更好的预测小物体，使用特征金字塔网络的概念代替V2中特征融合。3>开创性的提出一种数据在第二象限以彰显自身模型优势的折线图。

V2觉得按比例不合适，使用了聚类提取先验框(使用真实数据聚类出实际的大小比例值，这样 就更符合显示更有说服力)距离曾经用欧氏距离，但框大的产生误差大，而框小产生误差小，因此使用1-iou当作距离缩小误差。BN 层即将激活函数的前一层做一个归一化，将这里的输入数据按批次归一化成0均值单位方差的数据，即保证每一层的输入的数据的分布满足均值为0、方差为1的正态分布。BN有助于加速模型的训练，降低模型的训练过程受初始权重影响的程度，使模型更稳定，更有效地收敛，从而提高模型的泛化能力。2>全连接层参数多训练慢。

分析：You Only Look Once 即你只看一遍即可。本文提出了一种不同与分类器检测的思想，即一种一个CNN解决一个回归问题。其优点为检测速度(FPS)和mAP很快，因此非常适合视频实时检测。