- 博客(35)
- 收藏
- 关注
RSS订阅原创 Visual Attention Network
文献提出了一种全新的针对于视觉任务的注意力机制，大核注意力机制（Large-Kernel Attention，LKA）,并基于LAK提出一种新的简单且有效的视觉主干网络 Visual Attention Network (VAN)。LKA将一个K×K卷积分解为一个k/d×k/d的深度卷积、一个(2d−1)×(2d−1)深度膨胀卷积（扩张率为d）和一个1×1卷积。(1)大核卷积的分解：与MobileNet有相似之处，MobileNet将标准卷积分为为两部分，一个深度卷积和一个点卷积(1 × 1 Conv)。
2022-09-18 12:15:11
1084
1
原创 Visual Attention Network（VAN）
LKA与 MobileNet [6] 有相似之处， MobileNe将标准卷积解耦为两部分，一个深度卷积和一个点卷积（也称为 1 × 1 Conv [36]）。我们的方法将卷积分解为三部分：深度卷积、深度和扩张卷积[37]、[38]和点卷积。受益于这种分解，LKA更适合有效地分解大核卷积。我们还在LKA中引入了注意力机制来获得自适应特性。
2022-09-16 13:40:06
3786
1
原创 递归门控卷积HorNet（gn_conv）阅读笔记
HorNet: Efficient High-Order Spatial Interactions with Recursive Gated Convolutions ECCV2022程序视觉 Transformers 的最新进展在基于点积 self-attention 的新空间建模机制驱动的各种任务中取得了巨大成功。在本文中，我们展示了视觉 Transformer 背后的关键要素，即输入自适应、远程和高阶空间交互，也可以通过基于卷积的框架有效实现。我们提出了递归门控卷积（gnConv），它通过门控卷
2022-09-02 22:14:04
8464
4
原创 基于图像重建损失的无监督变化检测
阅读翻译：Unsupervised Change Detection Based on Image Reconstruction LossAbstract:为了训练变化检测器，使用在同一区域的不同时间拍摄的双时图像。然而，收集标记的双时相图像既昂贵又耗时。为了解决这个问题，已经提出了各种无监督的变化检测方法，但它们仍然需要未标记的双时态图像。在本文中，我们提出了基于图像重建损失的无监督变化检测，仅使用未标记的单个时间单个图像。图像重建模型被训练以通过接收源图像和光度变换的源图像作为一对来重建原始源图
2022-05-04 14:24:09
5133
5
原创 用于跨域变化检测的端到端监督域适应框架
An End-to-end Supervised Domain Adaptation Framework for CrossDomain Change Detection文献代码摘要：变化检测是遥感图像分析中一项至关重要但极具挑战性的任务，随着深度学习的快速发展，已经取得了很大进展。然而，现有的大多数基于深度学习的变化检测方法都试图精心设计具有强大特征表示的复杂神经网络，却忽略了由时变土地覆盖变化引起的普遍域偏移，包括事件前后的亮度波动和季节变化图像，从而产生次优结果。在本文中，我们提出了一
2022-05-02 11:54:57
1616
原创 ConvNext学习笔记
ConvNeXt：A ConvNet for the 2020s. CVPR 2022.https://arxiv.org/abs/2201.03545https://github.com/facebookresearch/ConvNeXt讲解的非常详细的博客视频讲解官方源码：convnext.py# Copyright (c) Meta Platforms, Inc. and affiliates.# All rights reserved.# This source code i
2022-04-30 15:19:42
1060
1
原创 问题解决：Input type (torch.cuda.FloatTensor) and weight type (torch.FloatTensor) should be the same
原因参考：输入的数据类型为torch.cuda.FloatTensor，说明输入数据在GPU中模型参数的数据类型为torch.FloatTensor，说明模型还在CPU解决方法：加上.to(device)如：net = Net(in_ch=3, out_ch=16, hid_ch=32).to(device)...
2022-04-28 15:47:02
3281
原创 Coordinate Attention学习笔记
CVPR2021Paper：https://arxiv.org/pdf/2103.02907.pdfGitHub：https://github.com/Andrew-Qibin/CoordAttentionCoordinate Attention详细解说博客SE,CBAM详解SE代码：#SE模块class SELayer(nn.Module): def __init__(self, channel, reduction=16): super(SELayer, s
2022-04-22 16:50:11
4305
2
原创 RDP-Net：用于变化检测的区域细节保留网络
RDP-Net: Region Detail Preserving Network for Change Detection摘要变化检测（CD）是一种必不可少的地球观测技术。它捕捉地物的动态信息。随着深度学习的兴起，神经网络（NN）在 CD 中显示出巨大的潜力。然而，当前的 NN 模型引入了在学习过程中丢失细节信息的骨干架构。此外，当前的 NN 模型参数繁多，这阻碍了它们在无人机等边缘设备上的部署。在这项工作中，我们通过提出 RDP-Net 来解决这个问题：一个用于 CD 的区域细节保留网络。我们提出了
2022-04-20 14:52:08
3530
原创 条件参数化卷积CondConv
CondConv: Conditionally Parameterized Convolutions for Efficient InferenceN，eurIPS 2019CondConv：用于高效推理的条件参数化卷积论文官方源码摘要：卷积层是现代深度神经网络的基本组成部分之一。一个基本假设是，数据集中的所有示例都应该共享卷积核。我们提出了条件参数化卷积（CondConv），它为每个示例学习专门的卷积核。用 CondConv 替换普通卷积使我们能够增加网络的大小和容量，同时保持有效的推理。我们证
2022-04-11 21:17:59
1120
原创 PSPNet----多尺度平均池化 (MSAP) 卷积网络阅读笔记
SAR IMAGE CHANGE DETECTION METHOD VIA A PYRAMID POOLING CONVOLUTIONAL NEURAL NETWORK，IGARSS2020基于金字塔池卷积神经网络的SAR图像变化检测方法摘要：在合成孔径雷达 (SAR) 图像变化检测中，利用受散斑影响的噪声差分图像的变化信息是非常具有挑战性的。在本文中，我们提出了一种新颖的多尺度平均池（MSAP）网络来利用噪声差异图像中的变化信息。与传统的只有一个尺度池化核的卷积网络不同，在所提出的方法中，在卷积网络
2022-04-10 13:07:58
4537
原创 ConvMixer
代码：import torch.nn as nnimport torchclass Residual(nn.Module): def __init__(self,fn): super().__init__() self.fn=fn def forward(self,x): return x+self.fn(x)def ConvMixer(dim,depth,kernel_size=5,patch_size=7,num_classe.
2022-04-08 13:55:13
542
1
原创 外部注意力EA阅读
Beyond Self-attention: External Attention using Two Linear Layers for Visual Tasks超越自我注意：使用两个线性层进行视觉任务的外部注意论文摘要——注意机制，尤其是自我注意，在视觉任务的深度特征表示中发挥着越来越重要的作用。自注意力通过使用所有位置的成对亲和力计算特征的加权和来更新每个位置的特征，以捕获单个样本中的长期依赖关系。然而，self-attention 具有二次复杂度，并且忽略了不同样本之间的潜在相关性。本文提
2022-04-07 21:19:22
2078
原创 python打印当前时间
运行程序时可能需要记录 import datetime time = datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S') print(time)打印出的结果
2022-04-07 16:52:54
18741
原创 三维数组转四维
用reshape（）函数即可 input = torch.randn(5, 7, 7) input=input.reshape(1,5, 7, 7)
2022-04-06 19:56:35
1286
原创 print的内容保存到txt
参考博客import sysclass Logger(object): def __init__(self, fileN="Default.log"): self.terminal = sys.stdout self.log = open(fileN, "a") def write(self, message): self.terminal.write(message) self.log.write(message)
2022-04-05 20:31:48
407
原创 mat文件转图片
参考博文找了很多办法，上面的博文对我有用，所以自己记录一下，防止下次找不到。单个mat文件的导入与转换例如这个data_2.mat用matlab导入可以看到dataimport cv2import scipy.io as sciofrom PIL import Imageimport numpy as npimport matplotlib.pyplot as pltdataFile = r'data_2.mat' # 单个的mat文件data = scio.loadmat(da
2022-04-05 17:14:45
6291
原创 学习笔记_外部att
External Attention（EA）详解要解决的Self-Attention(SA)的两个痛点问题：（1）O(n^2)的计算复杂度；(2)SA是在同一个样本上根据不同位置计算Attention，忽略了不同样本之间的联系。因此，本文采用了两个串联的MLP结构作为memory units，使得计算复杂度降低到了O(n)；此外，这两个memory units是基于全部的训练数据学习的，因此也隐式的考虑了不同样本之间的联系。from model.attention.ExternalAttent
2022-04-05 11:58:08
297
原创 list（map(lambda
list（map(lambdamap() 会根据提供的函数对指定序列做映射.list（），以一个序列作为参数并把它转换为列表，如果参数是list，那么该参数就会被原样返回。chunk 第一个参数：目标张量，第二个参数：等分的块数，第三个参数：按照的维度...
2022-04-04 13:31:47
1608
原创 transformer系列学习笔记
transformer详解详解VIT官方源码详解Linear Projection of Flattened Patches(Embedding层)Transformer EncoderMLP Head（最终用于分类的层结构）Hybrid详解传统CNN特征提取和Transformer进行结合Swin Transformer（Swin-T）官方源码详解...
2022-04-04 13:05:04
6238
原创 VIT 程序
VITimport torchfrom torch import nn, einsumimport torch.nn.functional as Ffrom einops import rearrange, repeatfrom einops.layers.torch import Rearrangedef pair(t): return t if isinstance(t, tuple) else (t, t)class PreNorm(nn.Module): def
2022-04-03 21:39:09
105
原创 读书笔记：SAFNet
文献待写代码部分(291, 306, 1)torch.Size([20220, 1, 7, 7])torch.Size([5055, 1, 7, 7])torch.Size([89046, 1, 7, 7])Creating dataloader[Epoch: 1] [loss avg: 62.1554] [current loss: 0.1116]98.22Save model![Epoch: 2] [loss avg: 9.4708] [current loss:
2022-03-20 17:41:26
4251
1
原创 GoogleDrive记录
GoogleDrive记录第一次用GoogleDriver，不太会使用，记录遇到的问题。Q1、Google Colab 挂载 Google Drive文件路径问题：感谢大佬的博客from google.colab import drivedrive.mount('/content/gdrive')需要读取SAR_CD_SAFNet-main/data文件夹下的数据:（中间需要加一个MyDrive）就是’/content/gdrive/MyDrive/SAR_CD_SAFNet-mai
2022-03-20 17:33:51
416
原创 读书笔记：基于Transformer的 Siamese 网络用于变化检测
摘要：本文提出了一种基于变压器的连体网络架构（缩写为 ChangeFormer），用于从一对共同配准的遥感图像中进行变化检测（CD）。与最近基于全卷积网络 (ConvNets) 的 CD 框架不同，所提出的方法在 Siamese 网络架构中将分层结构的 Transformer 编码器与多层感知 (MLP) 解码器相结合，以有效地渲染所需的多尺度远程细节获得准确的 CD。在两个 CD 数据集上的实验表明，所提出的端到端可训练 ChangeFormer 架构比以前的同类架构实现了更好的 CD 性能。#文章
2022-03-18 21:54:46
2221
6
原创 test setup failed问题解决
test setup failed、fixture ‘args‘ not found problem之前程序运行的好好的，突然报这个错误（我的pycharm是汉化的），看了一些博客，牛人的博文参考这个博文，我的问题解决了，记录一下。解决办法写名字，选择脚本路径，检查解释器后点击应用，确定问题没有了。...
2022-03-17 18:50:56
5881
4
原创 python安装gdal
1、gdal下载地址https://www.lfd.uci.edu/~gohlke/pythonlibs/#gdal找到自己对应的版本（我的Python是3.9的，所以选择cp39），点击一下即可下载。2、下载后将GDAL-3.4.1-cp39-cp39-win_amd64.whl放在D:\DevSoftware\Anaconda\Scripts下。3、在地址栏输入cmd，进入终端后输入（后面的是下载的whl的文件名）pip install GDAL-3.4.1-cp39-cp39-win_am
2022-03-16 21:48:16
2252
1
原创 读书笔记：使用Transformers的遥感图像变化检测
读书笔记：Remote Sensing Image Change Detection with Transformers文章：https://ieeexplore.ieee.org/abstract/document/9491802代码：https://github.com/justchenhao/BIT_CD摘要：现代变化检测（CD）通过深度卷积强大的判别能力取得了显着的成功。然而，由于场景中物体的复杂性，高分辨率遥感 CD 仍然具有挑战性。具有相同语义概念的对象可能在不同时间和空间位置表现出不同的
2022-03-08 15:22:59
8008
18
原创 win11下pycharm 和anaconda配置pytorch（CPU+GPU）
我的电脑：win11+RTX30601、配置CPU版的pytorch直接去torch官网，选择CPU即可直接在终端运行这句代码，即可配置完成。conda install pytorch torchvision torchaudio cpuonly -c pytorch我的pycharm解释器是anaconda的，所以直接是装在了这个环境下。2、配置GPU版的torch先看自己电脑支持的cuda版本，我的是11.3在英伟达控制面板里查看。选择cuda 11.3终端运行代码
2022-01-07 14:43:32
3128
原创 变化检测 log-ratio 算子
log-ratio 算子import numpy as npimport matplotlib.pyplot as pltfrom skimage import datafrom skimage import io# 读入图像，并转化为 float 格式im1 = io.imread('D:\pic\Andasol_09051987.bmp')[:,:,0].astype(np.float64)im2 = io.imread('D:\pic\Andasol_09122013.bmp')[:,
2021-07-19 19:02:08
1088
原创 边缘检测算子全部-python
一阶导数算子：Roberts 算子，Prewitt 算子， Sobel 算子二阶导数算子：拉普拉斯算子cannyimport cv2 as cvimport numpy as npimport matplotlib.pyplot as plt# 读取图像img = cv.imread('weizhuang.jpg')rgb_img = cv.cvtColor(img, cv.COLOR_BGR2RGB)# 灰度化处理图像gray_image = cv.cvtColor(img,
2021-06-25 22:04:21
559
原创 图像变化检测—差值法—Python
图像变化检测方法1–差值法利用opencv里面的absdiff()import cv2# 读取图像img1 = cv2.imread(r'.\atl87.jpg') # 可以读取tif格式图片img2 = cv2.imread(r'.\atl92.jpg')# absdiff 获取差分图 就是将两幅图像作差change = cv2.absdiff(img1, img2)#将结果保存到当前文件夹下，命名为diff.jpgcv2.imwrite(r'.\diff.jpg', chang
2021-06-25 21:52:11
4755
4
原创 深度学习—简单的三层神经网络—Python（numpy）
代码+图解代码：import numpy as np#sigmoid激活函数def sigmoid(x): return 1 / (1 + np.exp(-x))#初始化def init_network(): network = {} network['W1'] = np.array([[0.1, 0.3, 0.5], [0.2, 0.4, 0.6]]) network['b1'] = np.array([0.1, 0.3, 0.5]) network[
2021-06-25 21:28:35
443
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人