二三两。-CSDN博客

原创 CS-Net: Deep Multibranch Network Considering Scene Features for Sharpness Assessment of Remote Sensi

初始状态下，改进的注意力机制将输出原始特征。因此，这样就不会改变预训练模型的初始参数，不会影响初始状态下的网络梯度反向传播。

2024-04-20 13:47:53 971 4

原创 Swin Transformer: Hierarchical Vision Transformer using Shifted Windows

本文要是对《Swin Transformer: Hierarchical Vision Transformer using Shifted Windows》这篇论文的一个解读与总结，原文链接本文提出一种新型Transformer模型，Swin Transformer。它解决了将Transformer模型从语言调整到视觉任务的挑战。其中一个主要的挑战是两个领域之间的差异，例如视觉实体的规模和图像的分辨率。为了克服这些差异，Swin Transformer使用和这两技术进行解决。

2024-03-12 16:29:01 419 1

原创 Agent Attention On the Integration of Softmax and Linear Attention

本文要是对《Agent Attention On the Integration of Softmax and Linear Attention》这篇论文的一个解读与总结，原文链接本文提出一种新型Transformer模型，它结合了Linear Attention和Softmax Attention的优点，在计算效率和表示能力之间取得良好的平衡。具体来说，Agent Attention，表示为四元组，在传统的Attention模块中引入了一组额外的Agent token A。

2024-03-12 16:16:17 1890 1

原创 Quality-aware Pre-trained Models for Blind Image Quality Assessment

本文要是对《Quality-aware Pre-trained Models for Blind Image Quality Assessment》这篇论文的一个解读与总结，原文链接盲图像质量评估（BIQA）旨在自动评估单个图像的感知质量，近年来，基于深度学习的方法提高了其性能。然而，标记数据的缺乏在一定程度上限制了基于深度学习的BIQA方法释放其全部潜力。本文作者通过改进退化过程，扩大退化空间，同时采用自监督学习的方式为BIQA定制借口任务QPT来解决这个问题。

2024-03-12 16:15:21 743 2

原创 Fastformer: Additive Attention Can Be All You Need

本文要是对《Fastformer: Additive Attention Can Be All You Need》这篇论文的一个解读与总结，原文链接本文提出一种新型Transformer模型，它被设计用来，同时。Fastformer采用了加性注意力机制，然后根据其与全局上下文表示的交互进一步转换每个token表示。它不仅实现了具有线性复杂性的有效上下文建模，而且经测试它比现已有的许多Transformer模型的效率都更高，同时可以实现更好的长文本建模能力。

2024-01-19 23:03:24 1965 1

原创 FLatten Transformer: Vision Transformer using Focused Linear Attention

本篇论文主要是对注意力机制的时间复杂度的一个优化，，将普通注意力机制的二次时间复杂度优化为线性时间复杂度。但是因为采用线性注意力模块会导致特征聚焦，减少特征多样性，限制了注意力模块的表达能力，导致信息丢失，减少区分度，进而导致线性注意力模块的性能下降，所以再来解决这一局限，保证特征的多样性。

2024-01-16 21:11:10 2021 3

原创基于轮廓波数字水印的JPEG图像质量评价方法

本文主要是对《基于轮廓波数字水印的JPEG图像质量评价方法》这篇论文的一个解读与总结，原文链接：基于数字水印的图像质量评价方法研究 - 百度学术 (baidu.com) 基于轮廓波变换数字水印的 JPEG压缩图像质量评价属于半参考质量评价方法。首先参考人类视觉系统（HVS）的思想，选取轮廓波变换的低频区域作为水印嵌入区域，从而生成半脆弱数字水印。然后根据已嵌入水印图像与原始图像之间的结构相似度（SSIM）的值，设计自适应水印嵌入系统，以保证水印的不可见性。 ① 首先参考HVS的思想，经轮廓波变

2024-01-16 12:10:14 848 1

原创注意力机制

是指大脑对外界刺激进行选择性处理和加工的一种神经过程。它包括注意的定向、分配、维持和转移等多个方面，以确保个体能够有效地处理和应对外部环境的信息。当一个人在驾驶汽车时，注意力机制会帮助他集中精力在道路上的车辆、行人和交通信号等关键信息上，以确保安全驾驶；在一个拥挤的商场中，个体的注意力机制会帮助他们忽略周围的嘈杂声音和其他干扰，集中关注他们所感兴趣的商品或目标；经过Attention后，会将图片上，从而使模型能够更好的理解和处理图片数据，如下图。

2024-01-15 14:17:40 366

qq_47182555的博客