edgeVIT

赫瑟尔

已于 2022-08-12 20:44:54 修改

阅读量858

点赞数

分类专栏：深度学习日常记录文章标签：深度学习 cnn python

于 2022-07-20 21:04:42 首次发布

本文链接：https://blog.csdn.net/qq_42075634/article/details/125900555

版权

edgeVIT

摘要由CSDN通过智能技术生成

edgeVIT

原文：EdgeViTs: Competing Light-weight CNNs on Mobile Devices with Vision Transformers
代码

在这里插入图片描述
CNN用了PVT的典型架构
代码：
参考博客

import torch
import torch.nn as nn

# edgevits的配置信息
edgevit_configs = {
   
    'XXS': {
   
        'channels': (36, 72, 144, 288),
        'blocks': (1, 1, 3, 2),
        'heads': (1, 2, 4, 8)
    }
    ,
    'XS': {
   
        'channels': (48, 96, 240, 384),
        'blocks': (1, 1, 2, 2),
        'heads': (1, 2, 4, 8)
    }
    ,
    'S': {
   
        'channels': (48, 96, 240, 384),
        'blocks': (1, 2, 3, 2),
        'heads': (1, 2, 4, 8)
    }
}

HYPERPARAMETERS = {
   
    'r': (4, 2, 2, 1)
}


class Residual(nn.Module):
    """
    残差网络
    """

    def __init__(self, module):
        super().__init__()
        self.module = module

    def forward(self, x):
        return x + self.module(x)


class ConditionalPositionalEncoding(nn.Module):
    """

    """

    def __init__(self, channels):
        super(ConditionalPositionalEncoding, self).__init__()
        self.conditional_positional_encoding = nn.Conv2d(channels, channels, kernel_size=3, padding=1, groups=channels,
                                                         bias=False)

    def forward