论文阅读杂记
文章平均质量分 80
就,记录下论文阅读的笔记吧,方便自己查阅,形式不限
椰子奶糖
这个作者很懒,什么都没留下…
展开
-
SELF-ADAPTIVE NETWORK PRUNING简记
根据这俩现象提出了SANP(self-adaptivemethodfornetworkpruning)不同层的最佳剪枝率不同——并非每一层都存在恒定的剪枝率。每一类只依赖一小部分的通道——静态剪枝是次优的。原创 2022-07-14 19:24:00 · 385 阅读 · 0 评论 -
Container简记
Container简记文章目录Container简记参考简记Container整合DWConv、Transformer、MLP-MixerTransformerDWConvMLP-MixerContainer Block的设计Container-Light的设计实验粗看了一遍,稍微记录下参考原文代码视觉架构大一统!港中文通过统一视角Container对Transformer, 深度卷积以及MLP-Mixer进行了大一统简记港中文李鸿升团队从一个更广义的视角对Transformer、原创 2022-05-19 01:08:06 · 391 阅读 · 0 评论 -
CoAtNet简记
CoAtNet简记文章目录CoAtNet简记参考简记融合如何堆叠?实验部分参考原文实验部分可参考简记本文讲述了如何连接Conv&Self-Att这两个结构二者的优缺点:Conv的平移不变性和Self-Att的全局视野自不必多说第二点输入自适应权重我的理解是权重会随着输入的不同而有所不同,就是理解成不管输入是什么Conv的权重永远固定在Kernel中,而Self-Att的权重KQV会随着输入的变化而改变(虽然是因为经过了一次FC~)以及如何堆叠这玩原创 2022-05-18 19:55:51 · 350 阅读 · 0 评论 -
Coreset-Based Neural Network Compression简记
Coreset-Based Neural Network Compression简记文章目录Coreset-Based Neural Network Compression简记参考简记三种方案k-Means CorestsStructured Sparse CorestsActivation-weighted Corests压缩流程activation-based pruningcoreset-based compression实验结果参考ECCV原文代码简书:Coreset-Based Neu原创 2022-05-04 16:39:41 · 1285 阅读 · 0 评论 -
Rethinking the Smaller-Norm-Less-Informative Assumption in Channel Pruning of Convolution Layers简记
Rethinking the Smaller-Norm-Less-Informative Assumption in Channel Pruning of Convolution Layers简记文章目录Rethinking the Smaller-Norm-Less-Informative Assumption in Channel Pruning of Convolution Layers简记参考简记基本流程Importance Score的选择 γ\gammaγ更新方式——ISTAScaling e原创 2022-05-02 20:51:54 · 324 阅读 · 0 评论 -
Learning both Weights and Connections for Efficient简记
Learning both Weights and Connections for Efficient概括迭代prune,先prune后finetune,prune的时候更新mask,mask在forward的时候用于屏蔽weight权重大致流程大概就是这个流程:其中剪枝部分表现在代码中就是(参考代码:https://github.com/jack-willturner/deep-compression/tree/master):prune_rates = np.linspace(0, a原创 2022-04-09 16:20:14 · 628 阅读 · 0 评论 -
MAE简记
MAE简记文章目录MAE简记Mask 方法EncoderDecoderTarget & LOSSEncoderDecoderTarget & LOSSMask 方法将图片分割成不重复的正方形patch,遮挡其中一部分patch(75%)Encoder采用ViT,但是只对可见的没有被masked的patch使用Decoder以encoder的输出+masked的patch作为输入,想要恢复原本的图像解码器也是用一系列的Transformer Block组成Tar原创 2022-03-16 19:17:14 · 4784 阅读 · 0 评论 -
ConvNeXt:A ConvNet for the 2020s
ConvNeXt文章目录ConvNeXt参考简记具体改进Training TechniquesMacro DesignChanging stage compute ratioChanging stem to "Patchify"ResNeXt-ifyInverted BottleneckLarge Kernel SizesMoving up depthwise conv layerIncreasing the kernel sizeMicro DesignReplacing ReLU with GELUF原创 2022-02-12 00:48:09 · 1875 阅读 · 0 评论 -
Mino Channel Infomation Feedback Using Deep Recurrent Network简记
Mino Channel Infomation Feedback Using Deep Recurrent Network简记原文18年的文章,引入了LSTM作为压缩和解压模块具体的结构如下所示,可以发现,压缩解压模块分为两部分,上侧是线性模块FCN,下侧是LSTM,引入LSTM的主要考量是考虑CSI中的延时信息,在这里CNN就显得不那么合适。为了减少计算量,在文章后面有提出将FCN设计出串行的,这样做的好处是减少了LSTM的输入大小,从而减少计算量...原创 2022-01-28 01:12:30 · 1039 阅读 · 0 评论 -
Spatio-Temporal Representation With Deep Neural Recurrent Network in MIMO CSI Feedback简记
Spatio-Temporal Representation With Deep Neural Recurrent Network in MIMO CSI Feedback简记文章目录Spatio-Temporal Representation With Deep Neural Recurrent Network in MIMO CSI Feedback简记参考简记LSTM结构深度可分离卷积P3D blocks评价指标参考Spatio-Temporal Representation With Dee原创 2022-01-28 01:11:21 · 1198 阅读 · 0 评论 -
CLNet简记
CLNet: Complex Input Lightweight Neural Network designed for Massive MIMO CSI Feedback简记参考原文代码实现简记这篇的主要思想就是将CNN中的注意力机制引入MIMO问题中对于encoder,加上了CBAM,关于CBAM机制,可以参考这篇笔记:CBAM: Convolutional Block Attention Module对于decoder,加上了hardsigmoid因此整体大致就是这样的原创 2022-01-27 11:56:56 · 978 阅读 · 0 评论 -
Convolutional Neural Network based Multiple-Rate Compressive Sensing for Massive MIMO CSI Feedback:
Convolutional Neural Network based Multiple-Rate Compressive Sensing for Massive MIMO CSI Feedback: Design, Simulation, and Analysis简记文章目录Convolutional Neural Network based Multiple-Rate Compressive Sensing for Massive MIMO CSI Feedback: Design, Simulatio原创 2022-01-27 01:10:28 · 1828 阅读 · 2 评论 -
SwinIR简记
SwinIR简记文章目录SwinIR简记参考简述总结快速看了一眼原文,的确是将swin transformer用到了SR,本身似乎并没有太多的亮点,但是实打实的有效~参考源代码原文其他参考Swin Transformer简述看之前我特地再去看了一下Swin Transformer的原文(笔记:Swin Transformer),然后再看这篇发现确实如开头所说首先是模型结构:大致分为三个部分Shallow Feature Extraction原创 2022-01-12 16:19:01 · 988 阅读 · 2 评论 -
Swin Transformer简记-220112版
Swin Transformer简记文章目录Swin Transformer简记参考问题与方案Window AttentionPatch MergingShifted Window based Self-Attention总结参考源码本次回顾这篇用的时间不长,主要是大致浏览了一遍,记录一下,如有错误,踢我一下问题与方案CV中input的scale存在不定性,变化可能很大(就像YOLO v3的输入可以是416也可以是608之类的),这与NLP问题是不同的,并且比较棘手。VI原创 2022-01-12 15:40:31 · 553 阅读 · 0 评论 -
RCAN简记
RCAN简记文章目录RCAN简记参考问题与方案Residual in ResidualChannel AttentionRIR与CA的结合实验RIR和CA的作用与其他模型的对比参考RCAN注:SR=Super-Resolution问题与方案作者提出研究问题:此前的SR相关的网络大多都受限于网络深度(在CV中这是很重要的一点)此前的SR相关的研究都没有引入Attention机制(CV中的Attention,类似于SENet,CBAM这种)于是作者提出网络结构:RIR:Resi原创 2022-01-11 19:37:45 · 2383 阅读 · 1 评论 -
SRGAN简记
SRGAN简记文章目录SRGAN简记模型结构LOSS定义Content LossAdversarial loss实验它是第一个能够推断4×放大因子的照片真实自然图像的框架作者将GAN的思想用于SR任务,虽然PSNR还比不上此前提出的方式,但是在MOS这一评价维度上达到了state-of-the-art作者的贡献是:提出了SRResNet(SRCNN的增强版)提出了SRGAN(主要内容,引入GAN来做超分)引入MOS评价指标,并说明PSNR的一些问题(图像过于平滑,缺少高频细节信息,所谓高频原创 2022-01-11 15:48:19 · 1531 阅读 · 0 评论 -
Patch Slimming for Efficient Vision Transformers简记
Patch Slimming for Efficient Vision Transformers简记文章目录Patch Slimming for Efficient Vision Transformers简记参考剪枝流程主要思想理论支持Top-Down PruningImpact Estimation剪枝过程最终效果思考参考为什么不用L0范数做正则化?Lipschitz continuity剪枝流程稀疏正则训练剪枝,剪去不重要的部分finetune微调主要思想作者认为,atte原创 2021-12-27 00:05:00 · 1874 阅读 · 3 评论 -
Vision Transformer Pruning简记
Vision Transformer Pruning简记文章目录Vision Transformer Pruning简记参考剪枝流程剪什么?怎么剪?回顾Transformer那么剪哪里?那么怎么剪?实验部分作者的总结思考参考VIT剪枝流程稀疏正则训练剪枝,减去不重要的部分finetune微调剪什么?有关于稀疏训练虽然重要,但是首要还是确定剪什么,在Vision Transformer Pruning中作者剪枝的是Dimension,那么什么是Dimension呢?我的理解是:原创 2021-12-26 16:25:40 · 2611 阅读 · 0 评论 -
EfficientNet简记
EfficientNet简记文章目录EfficientNet简记主要问题作者的给的思路是问题定义满足如下要求代码实现主要问题作者发现,Model Scaling(放缩)通常有三种方法(depth、width、img size),然而以往的Model Scaling大多只用了一种或者两种,比如ResNet是深度,后来有加上了img size而没有width维度上的Scaling,于是作者提出:是否有一种原则性的方法来拓展ConvNet,以获得更好的准确率?(depth、width、img size原创 2021-12-08 19:48:27 · 2362 阅读 · 0 评论 -
MobileNetv3简记
MobileNetv3简记文章目录MobileNetv3简记MobileNetv2MobileNetv3的主要修改代码总结简单记录一下MobileNetv2简单回顾下MobileNetv2,主要是引入了深度可分离卷积,见:MobileNetv2MobileNetv3的主要修改1、看代码主要是加上了SqueezeExcitation模块(参考SENet)2、在网络末端减少1x1卷积(减少的这个是用来改变通道的),不过在我看来应该是作者试验了一下,发现减少了效果也还行,就原创 2021-12-07 15:07:20 · 802 阅读 · 0 评论 -
DenseNet简记
DensseNet简记文章目录DensseNet简记主要结构整体结构代码简要记录网络结构主要结构这个结构主要是每一层接收前面多层的输入,文中给出了公式:对于lthl_{th}lth层,有k0+k×(l−1)k_0+ k × ( l − 1)k0+k×(l−1)这么多层的feature map输入k就是中间层的输出channel数,因此上图是k=4的时候可以发现从第1层开始都只有4层,而第0层设为k0,然后前层把输出直接传到后层,然后中间接一个BN-ReLU-Conv,融合ch原创 2021-12-07 14:50:06 · 745 阅读 · 0 评论 -
MobileNet
MobileNet文章目录MobileNet参考题外话主体思想Depthwise Separable Convolutiontorch实现(模块)Width Multiplier参考CNN模型之MobileNet题外话本文是在复现MobileNet的时候顺便看了一下原文,因此会用简短的语言简单解释下网络思想,对于某些概念不懂的可以看参考中的文章(主要是深度可分离这个结构)主体思想文章中作者的贡献是减少了计算复杂度——用了以下两种方式Depthwise Separable Conv原创 2021-11-17 00:40:33 · 307 阅读 · 0 评论 -
RNN浅谈
RNN文章目录RNN参考RNN 解决了什么问题RNN的结构RNN的特点RNN的损失函数RNN的反向传播RNN的缺点参考循环神经网络RNN论文解读一文搞懂RNN(循环神经网络)基础篇【重温系列】RNN循环神经网络及其梯度消失 手把手公式推导+大白话讲解[双语字幕]吴恩达深度学习deeplearning.aiRNN 解决了什么问题即应用场景,RNN在处理有时序关系的输入的时候比一般的神经网络更具有优势,原因是一个句子中的前后往往是相联系的,而一般的神经网络只是将句子里的每个词分开来考虑,这原创 2021-10-28 20:58:56 · 589 阅读 · 0 评论 -
AW-Convlution:An Attention Module for Convolutional Neural Networks
AW-Convlution文章目录AW-Convlution参考创新点问题&思想描述模块结构实验结果参考原文Xception: Deep Learning with Depthwise Separable ConvolutionsCBAM创新点提出当前注意激活模型的两个问题:特征图的近似问题和容量不足问题提出AW-convolution结构来缓解这个问题问题&思想描述个人认为,这两个问题其实是一个问题,即特征图的近似问题,而容量不足问题更多可以表述为作原创 2021-10-24 14:17:13 · 606 阅读 · 0 评论 -
BAM: Bottleneck Attention Module
BAM文章目录BAM参考个人理解Channel attentionSpatial attention结构合并如何融入ResBlock中?效果如何?参考CBAM: Convolutional Block Attention Module原文个人理解题外话:看完CBAM然后再看BAM,一个团队在同一天挂的两篇文章,妙啊妙啊,而且结构上也有相似之处,如果读过CBAM(参考CBAM: Convolutional Block Attention Module),那么BAM看看图和公式就可以理解了这原创 2021-10-14 21:05:43 · 820 阅读 · 3 评论 -
Residual Attention Network for Image Classification
Residual Attention Network for Image Classification文章目录Residual Attention Network for Image Classification参考个人理解Attention ModuleSoft Mask BranchSpatial Attention and Channel Attention感觉宣兵夺主的原因总结参考ResidualAttentionNetwork-pytorch原文:Residual Attention N原创 2021-10-14 21:05:07 · 1418 阅读 · 0 评论 -
CBAM: Convolutional Block Attention Module
CBAM: Convolutional Block Attention Module文章目录CBAM: Convolutional Block Attention Module参考个人理解Channel AttentionSpatial Attention如何融入ResBlock中?效果如何?实现参考【注意力机制】CBAM详解CBAM–卷积层中的注意力模块attention-module个人理解由于懒得系统介绍所以就长话短说,个人理解CBAM就是给Feature Map在不同维度加权重(原创 2021-10-14 14:37:20 · 1034 阅读 · 0 评论 -
TPH-YOLOv5: Improved YOLOv5 Based on Transformer Prediction Head for Object Detection on Drone-captu
TPH-YOLOv5文章目录TPH-YOLOv5参考IntroducitonStructureCSPDarknet53TransformerCBAMMs-testing and model ensemble.Self-trained classifier效果参考TPH-YOLOv5:基于Transformer的改进YOLOv5的无人机目标检测YOLOv4: Optimal Speed and Accuracy of Object Detectionself-attention与Transfor原创 2021-09-15 20:02:31 · 3533 阅读 · 3 评论 -
Filtration and Distillation: Enhancing Region Attention for Fine-Grained Visual Categorization
Filtration and Distillation: Enhancing Region Attention for Fine-Grained Visual Categorization文章目录Filtration and Distillation: Enhancing Region Attention for Fine-Grained Visual Categorization参考背景 & 问题主体结构Discriminative Regions ProposingFeature Learn原创 2021-09-04 15:38:29 · 1096 阅读 · 0 评论 -
Selective Sparse Sampling for Fine-grained Image Recognition
Selective Sparse Sampling for Fine-grained Image Recognition文章目录Selective Sparse Sampling for Fine-grained Image Recognition参考IntroductionRelated WorkMethodologyModel StructureClass Peak ResponseLearning Sparse Attention & Selective SamplingFine-Grai原创 2021-09-03 12:12:28 · 2036 阅读 · 2 评论 -
Mask-CNN: Localizing Parts and Selecting Descriptors for Fine-Grained Image Recognition
Mask-CNN: Localizing Parts and Selecting Descriptors for Fine-Grained Image Recognition文章目录Mask-CNN: Localizing Parts and Selecting Descriptors for Fine-Grained Image Recognition参考IntroductionThe Mask-CNN ModelLearning Object and Part MasksTraining Mask-C原创 2021-09-02 00:45:50 · 529 阅读 · 0 评论 -
Aggregated Residual Transformations for Deep Neural Networks
Aggregated Residual Transformations for Deep Neural Networks文章目录Aggregated Residual Transformations for Deep Neural Networks参考基本结构公式推导与Inception-ResNet的联系与分组卷积的联系实验结果这篇是对ResNet的一个改进参考了Inception v4的思想(v1是GoogleNet),对其ResNet的卷积结构进行横向拆解再相加,做到不增加计算量的同时增加精确度原创 2021-08-24 14:30:58 · 331 阅读 · 0 评论 -
YOLOX: Exceeding YOLO Series in 2021
YOLOX: Exceeding YOLO Series in 2021 文章目录YOLOX: Exceeding YOLO Series in 2021参考综述结构BaselineDecoupled headStrong data augmentationAnchor-freeMulti positivesSimOTA效果参考1、【论文笔记】FPN —— 特征金字塔2、EMA - 指数移动平均3、多标签分类与BCEloss4、PyTorch余弦学习率衰减5、YOLOv4的Trick原创 2021-08-23 12:56:38 · 15429 阅读 · 0 评论 -
Cascade R-CNN: Delving into High Quality Object Detection
Cascade R-CNN: Delving into High Quality Object Detection文章目录Cascade R-CNN: Delving into High Quality Object Detection参考提出问题:Detection Qualitynew Idea相似结构对比:Iterative BBox&Integral LossFaster RCNN中的做法Iterative BBox中的做法Intergal Loss中的做法总之参考Cascade R原创 2021-08-22 22:52:44 · 388 阅读 · 3 评论 -
YOLOv4: Optimal Speed and Accuracy of Object Detection
YOLOv4: Optimal Speed and Accuracy of Object Detection文章目录YOLOv4: Optimal Speed and Accuracy of Object Detection参考IntroductionRelated workBag of freebiesBag of specials[论文:Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition](http原创 2021-08-15 23:39:35 · 458 阅读 · 0 评论 -
YOLOv3: An Incremental Improvement
YOLOv3: An Incremental Improvement文章目录YOLOv3: An Incremental Improvement参考IntroductionThe DealBounding Box PredictionClass PredictionPredictions Across ScalesFeature Extractor(DarkNet53)Things We Tried That Didn’t WorkPerformance参考目标检测|YOLOv2原理与实现(附YO原创 2021-08-06 23:04:28 · 430 阅读 · 0 评论 -
YOLO9000: Better, Faster, Stronger
文章目录参考IntroductionFasterBatch NormalizationHigh Resolution ClassifierConvolutional With Anchor BoxesDimension ClustersDirect location predictionFine-Grained FeaturesFasterDarknet-19StrongerYOLO9000参考目标检测|YOLOv2原理与实现YOLO v2算法详解【机器学习】K-means(非常详细)In.原创 2021-08-06 16:59:52 · 377 阅读 · 0 评论 -
You Only Look Once: Unified, Real-Time Object Detection
文章目录参考IntroductionUnified DetectionNetwork DesignTrainingLimitations of YOLOExperiments参考目标检测|YOLO原理与实现YOLO详解【深度学习YOLO V1】深刻解读YOLO V1(图解)Introduction再16年那会比较流行的算法可以分为两类,一类是基于Region Proposal的R-CNN系算法(R-CNN,Fast R-CNN, Faster R-CNN),它们是two-stage的,需原创 2021-08-03 16:45:54 · 495 阅读 · 0 评论 -
Learning RoI Transformer for Detecting Oriented Objects in Aerial Images
Learning RoI Transformer for Detecting Oriented Objects in Aerial Images文章目录Learning RoI Transformer for Detecting Oriented Objects in Aerial Images参考IntroductionRoI TransformerRRoI LearnerRRoI Warping参考RoI Transformer 精读遥感检测——RoI Transformer(CVPR2原创 2021-08-02 18:23:59 · 1259 阅读 · 0 评论 -
ReDet:A Rotation-equivariant Detector for Aerial Object Detection
ReDet:A Rotation-equivariant Detector for Aerial Object Detection文章目录ReDet:A Rotation-equivariant Detector for Aerial Object Detection参考IntroductionRelated WorksPreliminariesRotation-equivariant NetworksRotation-invariant FeaturesRotation-equivariant Det原创 2021-07-30 00:47:57 · 1006 阅读 · 1 评论