qq_38253797的博客

YOLOX源码解析

Swin Transformer

deformable detr

Transformer

Vision Transformer

DETR

目录前言一、框架总览二、生成Ground Truth三、网络结构四、损失函数五、平衡采样六、利用关键点精炼（Refine with Landmark Localization）七、论文实验Reference前言论文地址： https://arxiv.org/pdf/1509.04874.pdf.PyTorch实现： https://github.com/CaptainEven/DenseBox.论文贡献：在FCN的基础上提出DenseBox直接检测目标，不依赖候选框。在多任务学习过程中结合了.

目录前言一、背景或动机二、Dynamic ReLU2.1、定义Dynamic ReLU2.2、实现超函数 θ(x)\theta(x)θ(x)2.3、Dynamic ReLU的三个版本三、论文实验结果四、PyTorch实现Reference前言论文地址： https://arxiv.org/pdf/2003.10027.pdf.源码地址： https://github.com/Islanna/DynamicReLU.贡献：提出Dynamic ReLU激活函数Dy-ReLU特点（优点）：将所有输入

目录前言一、背景和动机二、相关工作2.1、激活函数2.2、动态网络2.3、神经网络的设计空间三、ACON3.1、ReLU -> Swish(Smoth maximum)3.2、Maxout family -> ACON family3.3、Meta-ACON四、论文实验结果五、PyTorch实现Reference前言论文地址：https://arxiv.org/pdf/2009.04759.pdf.论文源码：https://github.com/nmaac/acon/blob/main/.

目录前言一、背景二、Mish三、self-regularization、smooth四、Mish Properties五、论文实验结果六、Pytorch实现Reference前言论文地址：链接: https://arxiv.org/pdf/1908.08681.pdf.源码地址：链接: https://github.com/digantamisra98/Mish.贡献：提出了一种新型的自正则化的非单调激活函数Mish:f(x)=xtanh(softplus(x))=xtanh(ln(1+ex).

目录目录一、背景二、相关工作2.1、标量激活函数2.2、上下文条件激活函数2.3、空间相关性建模2.4、感受野三、FReLU3.1、漏斗条件：funnel condition3.2、像素级建模能力：pixel-wise modeling capacity3.3、实现细节3.4、计算量分析四、PyTorch实现五、论文实验结果Reference目录论文地址： https://arxiv.org/pdf/2007.11824.pdf.贡献：\qquad提出FReLU非线性激活函数，在只增加一点点的计算.

前言论文地址： https://arxiv.org/pdf/1505.00853.pdf.论文贡献：这篇论文并没有提出什么新的激活函数，而是对现有的非常火的几个非饱和激活函数作了一个系统性的介绍以及对他们的性能进行了对比。最后发现，在较小的数据集中（大数据集未必），Leaky ReLU及其变体(PReLU、RReLU)的性能都要优于ReLU激活函数；而RReLU由于具有良好的训练随机性，可以很好的防止过拟合。一、背景我们在设计神经网络时候，在选择激活函数方面，大家都有一个常识：使用非饱和激活函数.

目录前言一、背景1.1、为什么需要激活函数？1.2、大脑工作原理：稀疏性原理1.3、稀疏性优点二、ReLU定义三、ReLU函数优缺点3.1、优点3.2、缺点四、几个其他变体激活函数4.1、Leaky ReLU4.2、PReLU(parametric ReLU)4.3、RReLU(Random ReLU)4.4、ReLU6(抑制其最大值)Reference前言论文地址： https://proceedings.mlr.press/v15/glorot11a/glorot11a.pdf.贡献：根据生物神.

目录前言一、背景二、方法：自动搜索技术三、Swish 激活函数四、PyTorch实现前言论文地址： https://arxiv.org/pdf/1710.05941.pdf.Swish的优点有： 1.无上界（避免过拟合）2. 有下界（产生更强的正则化效果）3. 平滑（处处可导 更容易训练）4. x<0具有非单调性（对分布有重要意义 这点也是Swish和ReLU的最大区别）。一、背景\qquad在深度神经网络中选择合适的激活函数对网络的动态训练和任务的性能具有显著的影响。因为每个深.

目录前言一、背景二、MixConv2.1、数学描述2.2、图解2.3、设计MixConv的几个关键点三、Pytorch实现前言论文地址：https://arxiv.org/abs/1907.09595.源码： https://github.com/tensorflow/tpu/tree/master/models/official/mnasnet/mixnet.创新： 提出MixConv（Mixed Depthwise Conv Kernels），混合的深度卷积核。就是使用不同大小的卷积核对深度卷.

目录前言一、背景二、Ghost Module三、Ghost Bottleneck四、GhostNetReference前言论文地址： https://arxiv.org/abs/1911.11907.源码（pytorch）：https://github.com/huawei-noah/CV-Backbones/tree/master/ghostnet_pytorch.贡献：1、提出了新型的轻量化网络模块 Ghost Module (GhostConv 和 Ghost bottleneck)2、.

目录前言一、研究背景二、新型Neck结构：BiFPN三、EfficientDet的网络结构四、PyTorch实现前言论文地址： https://arxiv.org/abs/1911.09070.PyTorch实现： https://github.com/zylo117/Yet-Another-EfficientDet-Pytorch.贡献：提出一种全新的特征融合方法：重复加权双向特征金字塔网络 BiFPN ；提出一种复合的缩放方法(EfficientNet方法)：统一缩放 分辨率、深度、宽度.

目录前言前言

目录前言背景前言原论文地址： https://arxiv.org/abs/1905.11946.背景从2012年AlexNet网络的提出开始，卷积神经网络在计算机视觉领域已经发展了9年了。在这过程中先后提出了很多的网络模型，LeNet->AlexNet->VGG->GoogleNet->ResNet->SENet…，这些网络有一个共同点，那就是它们都是一些手工设计的网络。在复现这些网络代码的时候，你可能常常会有这些问题：为什么网络的输入的图像分辨率要固定为224x22.

import torchfrom torch import nnfrom torchvision.models import resnetfrom torchsummary import summary# 这个模型是将SE模块加入每个ResBlock中了，还可以只加在模型开头和结尾，到底是怎么加入模型还是要看实验结果的def conv3x3(in_channel, out_channel, stride=1, padding=1): """3x3 convolution with pa

前言：该篇论文(2018年)提出两个attention模块，一个是基于channel（CAM），一个是基于spatial(SAM）。 \qquad\,同时，两个模块也可以组合起来使用，形成CBAM。CBAM是一个轻量化模块，两个模块的实现都比较 \qquad\,简单，而且能够在现有的网络结构中即插即用。在YOLOv4中就用到了SAM。论文： https://arxiv.org/abs/1807.06521.代码： https://github.com/luuuyi/CBAM.PyTorch.一、..

前言：这篇文章是由台湾学者Chien-Yao Wang等人在CVPR2019上发表的。文章提出了跨阶段局部网络(CSPNet)，以缓解以往的工作需进行大量推理计算的问题。在当前风靡一时的YOLOv4目标检测网络中，也引用了CSPNet作为骨干网络。作者已将代码开源：https://github.com/WongKinYiu/CrossStagePartialNetworks一、提出背景随着卷积神经网络结构变得更深更宽，CNN显示出了它特别强大的功能。但是，扩展神经网络的体系结构通常会带来更多的计..

论文: https://arxiv.org/pdf/1608.06993.pdf.PyTorch实现代码：github链接.一、背景（动机）随着卷积神经网络变得越来越深，一个新的研究问题出现了：当输入信息（梯度信息）经过许多层之后，在它到达网络末尾（开端）时，它会消失和“洗净”。这种现象就是我们常说的梯度消失或者说是梯度弥散问题。对神经网络结构的探索一直是神经网络研究的重要组成部分。近年来也取得了很大的进展，比如对网络支路的探索如ResNet、Highway Networks、Stochasti.