-- 经典网络
文章平均质量分 92
AI算法-图哥
个人微信: tuge7893,欢迎交流~
展开
-
DiverseBranchBlock: “无痛涨点”的ACNet再进化,清华大学&旷视科技提出Inception类型的DBB
1. 摘要本文提出一种可以提升CNN性能且“推理耗时无损”的通用模块组件,我们将其称之为Diverse Branch Block(DBB),它通过组合不同尺度、不同复杂度的分支(不同分支采用卷积序列、多尺度卷积或者均值池化)丰富特征空间的多样性达到提升单个卷积(注:推理时合并为单个卷积)表达能力的目的。一旦完成训练,一个DBB可以等价地转换为单个卷积以方便布署。不同于ConvNet架构的推陈出新,DBB在训练时采用了复杂的“微结构”且保持网络整体结构不变;而在推理/部署时,DBB这种复杂结构可以等价转.原创 2021-03-27 00:05:19 · 393 阅读 · 1 评论 -
RepVGG:极简架构,SOTA性能,让VGG式模型再次伟大
1.摘要本文提出了一个简单但功能强大的卷积神经网络架构,该架构推理时候具有类似于VGG的骨干结构,该主体仅由3 x 3卷积和ReLU堆叠组成,而训练时候模型采用多分支拓扑结构。 训练和推理架构的这种解耦是通过结构重参数化技术实现的,因此该模型称为RepVGG。 在ImageNet上,据我们所知,RepVGG的top-1准确性达到80%以上,这是老模型首次实现该精度。 在NVIDIA 1080Ti GPU上,RepVGG模型的运行速度比ResNet-50快83%,比ResNet-101快101%,并且具有.原创 2021-03-20 13:33:53 · 1186 阅读 · 0 评论 -
超分辨率 | 反卷积deconvolution存在的弊端及引起的棋盘效应
1. 棋盘效应当我们要用到深度学习来生成图像的时候,是往往是基于一个低分辨率且具有高层语义的图像。这会使得深度学习来对这种低分辨率图像进行填充细节。一般来说,为了执行从低分辨率图像到高分辨率图像之间的转换,我们往往要进行deconvolution。简单来说,deconvolution layer可以允许模型通过每一个点进行绘制高分辨率图像上的一个方块,这种情况的产生与deconvolution的stride、kernel size有关。然而,在使用deconvlution的时候,如果出现kernel.原创 2020-10-27 12:59:54 · 2421 阅读 · 0 评论 -
经典网络之NIN(Network in Network)
1. 介绍本篇博文主要讲解2014年ICLR的一篇非常牛逼的paper:《Network In Network》,过去一年已经有了好几百的引用量,这篇paper改进了传统的CNN网络,采用了少量的参数就松松击败了Alexnet网络,Alexnet网络参数大小是230M,采用这篇paper的算法才29M,减小了将近10倍啊。这篇paper提出的网络结构,是对传统CNN网络的一种改进(这种文献少之又少,所以感觉很有必要学习)。传统的卷积神经网络一般来说是由:线性卷积层、池化层、全连接层堆叠起来的网络。卷积.原创 2020-06-14 15:37:02 · 1003 阅读 · 0 评论 -
《Fast End-to-End Trainable Guided Filter》阅读笔记
1. 介绍这篇论文主要是将引导滤波的思想引入到了网络之中,先在小图上进行学习,再通过在引导滤波器上学习针对特定任务的引导图实现对生成小图上采样,最后恢复大图。这种思想在Deep bilateral里面已经使用过,但是这篇论文里生成的大量仿射系数使得速度受到了限制。论文:https://arxiv.org/abs/1803.05619代码:https://github.com/wuhuika...原创 2020-01-22 19:58:03 · 2375 阅读 · 0 评论 -
Batch Normalization(BN层)详解
1. 背景本篇博文主要讲解2015年深度学习领域,非常值得学习的一篇文献:《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》,这个算法目前已经被大量的应用,最新的文献算法很多都会引用这个算法,进行网络训练,可见其强大之处非同一般啊。近年来深度学习捷报连连...原创 2020-01-01 20:49:50 · 5521 阅读 · 1 评论 -
CBAM: Convolutional Block Attention Module 卷积块注意模块详解
论文地址:https://arxiv.org/abs/1807.065211. 摘要我们提出了卷积块注意模块 (CBAM), 一个简单而有效的注意模块的前馈卷积神经网络。给出了一个中间特征映射, 我们的模块按照两个独立的维度、通道和空间顺序推断出注意力映射, 然后将注意力映射相乘为自适应特征细化的输入特征映射。因为 CBAM 是一个轻量级和通用的模块, 它可以无缝地集成到任何 CNN 架构只...原创 2019-12-11 23:11:44 · 3393 阅读 · 2 评论 -
LSTM原理详解
1. 递归神经网络在传统神经网络中,模型不会关注上一时刻的处理会有什么信息可以用于下一时刻,每一次都只会关注当前时刻的处理。举个例子来说,我们想对一部影片中每一刻出现的事件进行分类,如果我们知道电影前面的事件信息,那么对当前时刻事件的分类就会非常容易。实际上,传统神经网络没有记忆功能,所以它对每一刻出现的事件进行分类时不会用到影片已经出现的信息,那么有什么方法可以让神经网络能够记住这些信息呢?...原创 2019-11-27 23:32:32 · 9618 阅读 · 0 评论 -
Non-local Neural Networks 详解
1. 介绍convolution和recurrent都是对局部区域进行的操作,所以它们是典型的local operations。受计算机视觉中经典的非局部均值(non-local means)的启发,本文提出一种non-local operations用于捕获长距离依赖(long-range dependencies),即如何建立图像上两个有一定距离的像素之间的联系,如何建立视频里两帧的联系,...原创 2019-11-23 18:57:11 · 5686 阅读 · 2 评论 -
孪生神经网络(Siamese Network)详解
1. 要解决什么问题?主要解决以下两类分类问题:第一类,分类数量较少,每一类的数据量较多,比如ImageNet、VOC等。这种分类问题可以使用神经网络或者SVM解决,只要事先知道了所有的类。第二类,分类数量较多(或者说无法确认具体数量),每一类的数据量较少,比如人脸识别、人脸验证任务。2. 文章创新点解决以上两个问题,本文提出了以下解决方法:提出了一种思路:将输入映射为一个特...原创 2019-10-27 12:34:49 · 31357 阅读 · 3 评论 -
注意力机制详解
Attention机制在近几年来在图像,自然语言处理等领域中都取得了重要的突破,被证明有益于提高模型的性能。Attention机制本身也是符合人脑和人眼的感知机制,这里我们主要以计算机视觉领域为例,讲述Attention机制的原理,应用以及模型的发展。1. Attention机制与显著图1.1 什么是注意力机制?所谓Attention机制,便是聚焦于局部信息的机制,比如图像中的某一个图像区...原创 2019-10-19 11:35:33 · 11617 阅读 · 0 评论 -
Deformable Convolutional Networks详解
论文链接:https://arxiv.org/pdf/1703.06211.pdf源码链接:https://github.com/msracver/Deformable-ConvNetsDeformable Convolution Networks是MSRA的代季锋和一帮实习生在2017年搞出的一种全新的卷积结构。这种方法将固定形状的卷积过程改造成了能适应物体形状的可变的卷积过程,从而使结构...原创 2019-10-17 00:05:50 · 3850 阅读 · 0 评论