网络结构
佑林杉
这个作者很懒,什么都没留下…
展开
-
Self-supervised Training of Graph Convolutional Networks
动机:GCNs需要邻接矩阵作为输入来定义这些非网格数据之间的关系,这就导致所有的数据,包括训练数据、验证数据和测试数据,通常只形成一个用于训练的图结构数据。此外,邻接矩阵通常是预定义的且平稳的,这使得数据增强策略不能在构造的图结构数据上使用来增加训练数据的数量。为了进一步提高有限训练数据下的学习能力和模型性能贡献:提出从输入图结构数据本身中挖掘可用信息,以提高基于图的模型的学习识别能力和性能。与图像或视频等常规网格数据不同,图结构使用边来存储结构信息以及节点之间的关系。除了结构信息之外,图中的每个节点原创 2020-06-30 16:51:54 · 768 阅读 · 0 评论 -
ResNeSt的代码阅读(pytorch版本)ResNeSt Split-Attention Networks
Torch版本主要分为四部分,ResNet、ResNeSt、split-attention和ablationsplit-attention模块也就是下面的图:上图对应论文中的:ResNet就是基本的resnet的编码:class Bottleneck(nn.Module):就是对ResNet的bottleneck的编写,需要说的是,全局平均池化没有采用之前的网络采取对池化函数进行...原创 2020-04-27 11:26:47 · 5012 阅读 · 0 评论 -
Improved Residual Networks for Image and Video Recognition
通过这篇文章对该论文进行的了解更推崇上面这篇文章,因为写的很详细动机:1.ResNet的主要结构是ResBlock块,。ResNet的特定设计是为了方便信息在网络中进行前向传播和反向传播。每个ResBlock包含三个卷积(2个1×1和1个3×3),然后加3个ReLU层。会对负权值清零而对信息传播带来负面影响,尤其再刚开始训练的时候,因为会存在很多的负权值。2.原始ResNet架构中,由于x...原创 2020-04-27 11:20:29 · 429 阅读 · 0 评论 -
ResNeSt: Split-Attention Networks
代码地址:提供PyTorch和MXNet双版本:https://github.com/zhanghang1989/ResNeSt动机:1.由于ResNet模型最初是为图像分类而设计的,它们可能不适合各种下游应用,因为接收场大小有限且缺乏跨通道交互。这意味着提高特定计算机视觉任务的性能需要网络手术来修改ResNet,使其对特定任务更有效。2.最近的工作通过大规模神经档案结构搜索(NAS)显著...原创 2020-04-20 09:30:39 · 5460 阅读 · 0 评论 -
GhostNet: More Features from Cheap Operations
动机:1.传统的CNN通常需要大量的参数和浮点运算(FLOPs)才能达到满意的精度;2.尽管最近的工作,例如MobileNet和ShuffleNet引入了深度可分离卷积或混淆卷积操作,以使用较小的卷积核(浮点运算)来构建有效的CNN,但1x1卷积层仍将占用大量内存和FLOPs;3.MobileNet和ShuffleNet这类模型在较少FLOPs下获得了高性能,但特征映射之间的相关性和冗余性却...原创 2020-04-06 12:09:17 · 572 阅读 · 0 评论