深度学习
文章平均质量分 53
赫瑟尔
个人学习记录
展开
-
Visual Attention Network
文献提出了一种全新的针对于视觉任务的注意力机制,大核注意力机制(Large-Kernel Attention,LKA),并基于LAK提出一种新的简单且有效的视觉主干网络 Visual Attention Network (VAN)。LKA将一个K×K卷积分解为一个k/d×k/d的深度卷积、一个(2d−1)×(2d−1)深度膨胀卷积(扩张率为d)和一个1×1卷积。(1)大核卷积的分解:与MobileNet有相似之处,MobileNet将标准卷积分为为两部分,一个深度卷积和一个点卷积(1 × 1 Conv)。原创 2022-09-18 12:15:11 · 1029 阅读 · 1 评论 -
Visual Attention Network(VAN)
LKA与 MobileNet [6] 有相似之处, MobileNe将标准卷积解耦为两部分,一个深度卷积和一个点卷积(也称为 1 × 1 Conv [36])。我们的方法将卷积分解为三部分:深度卷积、深度和扩张卷积[37]、[38]和点卷积。受益于这种分解,LKA更适合有效地分解大核卷积。我们还在LKA中引入了注意力机制来获得自适应特性。原创 2022-09-16 13:40:06 · 3443 阅读 · 1 评论 -
递归门控卷积HorNet(gn_conv)阅读笔记
HorNet: Efficient High-Order Spatial Interactions with Recursive Gated Convolutions ECCV2022程序视觉 Transformers 的最新进展在基于点积 self-attention 的新空间建模机制驱动的各种任务中取得了巨大成功。在本文中,我们展示了视觉 Transformer 背后的关键要素,即输入自适应、远程和高阶空间交互,也可以通过基于卷积的框架有效实现。我们提出了递归门控卷积(gnConv),它通过门控卷原创 2022-09-02 22:14:04 · 8271 阅读 · 4 评论 -
intergration of self-att and conv笔记
卷积与注意力的聚合原创 2022-07-23 16:43:17 · 293 阅读 · 0 评论 -
edgeVIT
edgeVIT原创 2022-07-20 21:04:42 · 836 阅读 · 1 评论 -
ConvNext学习笔记
ConvNeXt:A ConvNet for the 2020s. CVPR 2022.https://arxiv.org/abs/2201.03545https://github.com/facebookresearch/ConvNeXt讲解的非常详细的博客视频讲解官方源码:convnext.py# Copyright (c) Meta Platforms, Inc. and affiliates.# All rights reserved.# This source code i原创 2022-04-30 15:19:42 · 1050 阅读 · 1 评论 -
问题解决:Input type (torch.cuda.FloatTensor) and weight type (torch.FloatTensor) should be the same
原因参考:输入的数据类型为torch.cuda.FloatTensor,说明输入数据在GPU中模型参数的数据类型为torch.FloatTensor,说明模型还在CPU解决方法:加上.to(device)如:net = Net(in_ch=3, out_ch=16, hid_ch=32).to(device)...原创 2022-04-28 15:47:02 · 3227 阅读 · 0 评论 -
Coordinate Attention学习笔记
CVPR2021Paper:https://arxiv.org/pdf/2103.02907.pdfGitHub:https://github.com/Andrew-Qibin/CoordAttentionCoordinate Attention详细解说博客SE,CBAM详解SE代码:#SE模块class SELayer(nn.Module): def __init__(self, channel, reduction=16): super(SELayer, s原创 2022-04-22 16:50:11 · 4238 阅读 · 2 评论 -
条件参数化卷积CondConv
CondConv: Conditionally Parameterized Convolutions for Efficient InferenceN,eurIPS 2019CondConv:用于高效推理的条件参数化卷积论文官方源码摘要:卷积层是现代深度神经网络的基本组成部分之一。一个基本假设是,数据集中的所有示例都应该共享卷积核。我们提出了条件参数化卷积(CondConv),它为每个示例学习专门的卷积核。用 CondConv 替换普通卷积使我们能够增加网络的大小和容量,同时保持有效的推理。我们证原创 2022-04-11 21:17:59 · 1046 阅读 · 0 评论 -
PSPNet----多尺度平均池化 (MSAP) 卷积网络阅读笔记
SAR IMAGE CHANGE DETECTION METHOD VIA A PYRAMID POOLING CONVOLUTIONAL NEURAL NETWORK,IGARSS2020基于金字塔池卷积神经网络的SAR图像变化检测方法摘要:在合成孔径雷达 (SAR) 图像变化检测中,利用受散斑影响的噪声差分图像的变化信息是非常具有挑战性的。在本文中,我们提出了一种新颖的多尺度平均池(MSAP)网络来利用噪声差异图像中的变化信息。与传统的只有一个尺度池化核的卷积网络不同,在所提出的方法中,在卷积网络原创 2022-04-10 13:07:58 · 4470 阅读 · 0 评论 -
ConvMixer
代码:import torch.nn as nnimport torchclass Residual(nn.Module): def __init__(self,fn): super().__init__() self.fn=fn def forward(self,x): return x+self.fn(x)def ConvMixer(dim,depth,kernel_size=5,patch_size=7,num_classe.原创 2022-04-08 13:55:13 · 503 阅读 · 1 评论 -
外部注意力EA阅读
Beyond Self-attention: External Attention using Two Linear Layers for Visual Tasks超越自我注意:使用两个线性层进行视觉任务的外部注意论文摘要——注意机制,尤其是自我注意,在视觉任务的深度特征表示中发挥着越来越重要的作用。自注意力通过使用所有位置的成对亲和力计算特征的加权和来更新每个位置的特征,以捕获单个样本中的长期依赖关系。然而,self-attention 具有二次复杂度,并且忽略了不同样本之间的潜在相关性。本文提原创 2022-04-07 21:19:22 · 1979 阅读 · 0 评论 -
python打印当前时间
运行程序时可能需要记录 import datetime time = datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S') print(time)打印出的结果原创 2022-04-07 16:52:54 · 18614 阅读 · 0 评论 -
三维数组转四维
用reshape()函数即可 input = torch.randn(5, 7, 7) input=input.reshape(1,5, 7, 7)原创 2022-04-06 19:56:35 · 1217 阅读 · 0 评论 -
print的内容保存到txt
参考博客import sysclass Logger(object): def __init__(self, fileN="Default.log"): self.terminal = sys.stdout self.log = open(fileN, "a") def write(self, message): self.terminal.write(message) self.log.write(message)原创 2022-04-05 20:31:48 · 338 阅读 · 0 评论 -
学习笔记_外部att
External Attention(EA)详解要解决的Self-Attention(SA)的两个痛点问题:(1)O(n^2)的计算复杂度;(2)SA是在同一个样本上根据不同位置计算Attention,忽略了不同样本之间的联系。因此,本文采用了两个串联的MLP结构作为memory units,使得计算复杂度降低到了O(n);此外,这两个memory units是基于全部的训练数据学习的,因此也隐式的考虑了不同样本之间的联系。from model.attention.ExternalAttent原创 2022-04-05 11:58:08 · 233 阅读 · 0 评论 -
convNest学习笔记
学习的优秀博文源码ConvNeXt-T 结构图原创 2022-04-04 14:24:00 · 195 阅读 · 0 评论 -
list(map(lambda
list(map(lambdamap() 会根据提供的函数对指定序列做映射.list(),以一个序列作为参数并把它转换为列表,如果参数是list,那么该参数就会被原样返回。chunk 第一个参数:目标张量,第二个参数:等分的块数,第三个参数:按照的维度...原创 2022-04-04 13:31:47 · 1555 阅读 · 0 评论 -
transformer系列学习笔记
transformer详解详解VIT官方源码详解Linear Projection of Flattened Patches(Embedding层)Transformer EncoderMLP Head(最终用于分类的层结构)Hybrid详解传统CNN特征提取和Transformer进行结合Swin Transformer(Swin-T)官方源码详解...原创 2022-04-04 13:05:04 · 5889 阅读 · 0 评论 -
VIT 程序
VITimport torchfrom torch import nn, einsumimport torch.nn.functional as Ffrom einops import rearrange, repeatfrom einops.layers.torch import Rearrangedef pair(t): return t if isinstance(t, tuple) else (t, t)class PreNorm(nn.Module): def原创 2022-04-03 21:39:09 · 86 阅读 · 0 评论 -
win11下pycharm 和anaconda配置pytorch(CPU+GPU)
我的电脑:win11+RTX30601、配置CPU版的pytorch直接去torch官网,选择CPU即可直接在终端运行这句代码,即可配置完成。conda install pytorch torchvision torchaudio cpuonly -c pytorch我的pycharm解释器是anaconda的,所以直接是装在了这个环境下。2、配置GPU版的torch先看自己电脑支持的cuda版本,我的是11.3在英伟达控制面板里查看。选择cuda 11.3终端运行代码原创 2022-01-07 14:43:32 · 3073 阅读 · 0 评论 -
深度学习—简单的三层神经网络—Python(numpy)
代码+图解代码:import numpy as np#sigmoid激活函数def sigmoid(x): return 1 / (1 + np.exp(-x))#初始化def init_network(): network = {} network['W1'] = np.array([[0.1, 0.3, 0.5], [0.2, 0.4, 0.6]]) network['b1'] = np.array([0.1, 0.3, 0.5]) network[原创 2021-06-25 21:28:35 · 424 阅读 · 1 评论