- 博客(16)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 Shunted Self-Attention via Multi-Scale Token Aggregation
【文章链接】现有的Transformer模型采用各种降采样策略来减少特征尺寸和内存消耗。例如，VIT方法在第一层进行16 × 16的下采样投影，并在得到的粗粒度和单尺度特征图上计算自注意力；因此，所产生的特征信息损失不可避免地降低了模型的性能。PVT则致力于在细粒度特征上计算自注意力，并通过合并token的空间缩减来降低成本；然而合并过多的token会导致来自小目标和背景噪声的token混合。这样的行为反过来使得模型在捕获小物体时效果较差。SSA的多尺度注意力机制是通过将多个注意力头拆分成若干组来实现的。
2023-10-08 16:29:14
119
原创 CAT: Cross Attention in Vision Transformer
交叉注意力，块内部注意力与单通道特征注意力交叉使用。其中，块内部注意力属于局部注意力，单通道特征注意力属于全局注意力。这个步骤与swintsf一样，都是在一个小范围内进行attention，而不是在全图中进行。在计算attention上没有任何差别。CAT代码class Attention(nn.Module)与SWIN代码class WindowAttention(nn.Module)对应，没有区别。在数据转化时，代码同样相同。文章中的复杂度计算公式也一样。
2023-09-14 20:09:57
429
7
原创 transformer位置编码以及代码解释
Transformer 是combination-invariant的。也就是说，混洗输入嵌入不会改变transformer的输出。然而，嵌入的位置也包含重要信息。为了使各自的模型意识到这一点，提出了许多不同的嵌入位置表示（Vaswani 等人，2017）。
2023-08-02 15:51:35
1377
原创 Pyramid Vision Transformer（PVT）
原文链接：[2102.12122] Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions (arxiv.org) our PVT overcomes the difficulties of the conventional Transformer by (1) taking fine-grained image patches (i.e., 4×4 pixels per patch
2023-07-26 13:00:14
189
原创 波段分离 单波段数据制造
import osfrom pathlib import Pathfrom collections import OrderedDictimport rasterio#需要提前在final_data_path中创造band1，band2,band3,band4,band5,band6文件夹NUM_BAND = 6current_processing = 'val' #‘train’, ‘val’, ‘test’ini_data_path = Path('D:\\STFdata\\z
2023-04-07 22:02:09
86
原创 遥感影像时空融合数据获取
数据总结数据集 影像尺寸 图像对数 时间跨度 主要变化类型 数据来源 CIA 1720*2040*6 17 2001/10/07-2002/05/03 农田物候变化 [1] LGC 3200*2720*6 14 2004/04/16-2005/04/03 地物突变（洪水） [1] AHB 2480*2800*6 27 2013/05/30-2018/12/06 农区、山区的物..
2021-09-16 15:32:55
1577
8
原创 Curvelet工具包下载
不要花钱去下载Curvelet工具包了，直接去官网吧CURVELET 下载官网：http://www.curvelet.org/download.html如果没有账号，就先注册一个，激活后，输入账号密码就可以下载，但是有时候会迟迟接收不到邮件，就有点无奈了。...
2020-02-12 11:25:35
761
2
原创 chrome浏览器安装插件步骤
chrome浏览器->设置->扩展程序->下载的.crx文件拖进来，根据提示选择安装，若出现“程序包无效”的提示，则将.crx后缀改为.rar后缀，再解压缩，在扩展程序开发者模式下选择 加载已解压的扩展程序，将解压后的文件夹选择，根据提示安装。设置主页来激活，chrome浏览器->设置->外观，在里面将http://123.hao245.com/设置为主页，完成...
2020-02-12 11:07:06
449
原创 NSST toolbox 安装
一，下载NSST toolbox工具箱压缩文件，并解压；二，将解压后的文件夹拷贝到matlab安装目录的toolbox目录下；三，启动matlab，Set Path -> Add with subfolder，选择解压后的文件夹，save ->close；...
2020-02-12 10:59:26
1763
41
PCA+HPF.zip
2019-08-02
IHS_FFT融合（原文+代码+测试影像）
2019-05-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人