- 博客(215)
- 收藏
- 关注
RSS订阅原创 EfficientViT： Multi-Scale Linear Attention for High-Resolution Dense Prediction学习笔记
高分辨率密集预测在自动驾驶等领域有着广泛的应用。
2025-11-06 22:38:09
1009
原创 SwiftFormer： Efficient Additive Attention for Transformer-based Real-time Mobile Vision Applications
自注意力已经成为各种视觉应用中捕获全局背景的事实上的选择。
2025-10-30 15:08:36
634
原创 SeaFormer++： Squeeze-enhanced Axial Transformer for Mobile Visual Recognition 学习笔记
本文提出了一种移动友好的SeaFormer架构，通过设计挤压增强轴向注意力模块（SEA）来平衡语义分割任务的精度与效率。该模块将特征图压缩至轴向计算自注意力，同时通过卷积增强局部细节，显著降低了计算复杂度（从O((H+W)HW)降至O(HW)）。实验表明，SeaFormer在ADE20K和Cityscapes等数据集上，以更低的延迟超越了现有移动友好模型，如TopFormer和MobileNetV3（如SeaFormer-B++在ADE20K上mIoU提升8.3%）。此外，该架构可扩展至图像分类和目标检测任
2025-10-15 18:06:45
743
原创 Efficient Multi-Scale Attention Module with Cross-Spatial Learning 学习笔记
在CV任务中说明了产生更加可辨别的特征表示的通道或空间注意力机制的显著有效性。
2025-10-14 22:12:22
722
1
原创 DMM： Disparity-guided Multispectral Mamba for Oriented Object Detection in Remote Sensing 项目笔记
本文介绍了DMM项目，这是一个基于MMRotate框架实现的双模态无人机车辆检测系统。项目采用S2A-Net检测框架与VSSM骨干网络，处理可见光和红外图像数据。系统配置包括数据加载、预处理和训练流程，其中数据预处理通过统一变换保持双模态对齐，并使用特定归一化参数。模型采用多阶段精炼检测架构，包括特征提取、初始检测和多级优化，逐步提升检测精度。训练采用12个epoch的两段式学习率调度，结合SGD优化和梯度裁剪策略。该系统专为无人机视角下的旋转车辆检测任务设计，通过双模态融合提高检测性能。
2025-10-14 20:07:19
1184
原创 DMM： Disparity-guided Multispectral Mamba for Oriented Object Detection in Remote Sensing 学习笔记
本文提出视差引导的多光谱曼巴(DMM)框架用于多光谱目标检测。针对模态间差异和RGB模态内光照变化等挑战，DMM包含三个关键模块：视差引导的跨模态融合曼巴(DCFM)利用Mamba选择性扫描机制高效融合RGB与红外特征；多尺度目标感知注意力(MTA)通过多尺度卷积抑制RGB模态的噪声干扰；目标先验感知(TPA)辅助任务引入额外监督优化MTA模块。实验表明，DMM在DroneVehicle和VEDAI数据集上优于现有方法，同时保持计算效率。该研究首次将Mamba成功应用于多光谱目标检测，为遥感图像分析提供了新
2025-10-14 15:18:20
688
原创 Contextual Transformer Networks for Visual Recognition 学习笔记
具有自注意力机制的Transformer引起了自然语言处理领域的革命，最近激发了Transformer架构设计的出现，在众多计算机视觉领域的文章中取得了具有竞争力的效果。
2025-10-13 10:58:13
751
原创 Attention Is All You Need 学习笔记
自注意力机制通过恒定的顺序执行🔗所有位置，自注意力机制比循环层快当序列长度n比特征维度d更小时，且并行计算量和远程依赖关系之间的路径长度更短。
2025-10-12 15:13:30
1261
原创 Large Kernel Modulation Network for Efficient Image Super-Resolution 学习笔记
资源受限场景下的图像超分辨率（SR）需要平衡性能和延迟的轻量级模型。
2025-10-11 16:48:17
766
原创 Cross Paradigm Representation and Alignment Transformer for Image Deraining 学习笔记
基于Transformer网络的强大性能，利用空间和通道自注意力机制在图像除雨等低级视觉任务中取得了强大的性能。
2025-10-10 17:07:13
1130
原创 Dual Attention Network for Scene Segmentation 学习笔记
本文提出了一种基于自注意力机制的双注意力网络(DANet)用于场景分割任务。该网络包含并行工作的位置注意力模块和通道注意力模块，分别建模空间和通道维度的语义依赖关系。位置注意力模块通过计算特征相似性建立全局空间关联，而通道注意力模块则捕获通道间的相互依赖。实验表明，该方法在Cityscapes、PASCAL VOC和COCO Stuff三个基准数据集上均取得了最优性能。消融分析验证了注意力模块的有效性，其中位置注意力模块可提升5.71%的mIoU。该工作通过自注意力机制实现了对全局上下文信息的有效建模，为场
2025-10-09 22:13:49
974
原创 ECA-Net： Efficient Channel Attention for Deep Convolutional Neural Networks 学习笔记
通道注意力已经被证明在卷积神经网络中有着提高性能的巨大潜力。
2025-10-08 17:02:37
757
原创 Coordinate Attention for Efficient Mobile Network Design 学习笔记
背景：在移动网络的研究证明了通道注意力有助于提升模型性能挑战：但他们忽略了位置信息，而位置信息对于生成空间选择注意力图很重要方法：本文提出一种新的注意力制止用于移动网络，通过嵌入位置信息到通道注意力中，称之为“协调注意力”，在这种方式下，长距离依赖关系能被一个空间方向捕捉，同时准确的位置信息能被另一个空间方向保留。然后生成的特征图被编码成一对方向感知和位置敏感的注意力图，这些注意力图能互补地应用于输入特征图，以增强感兴趣的对象表示。
2025-10-07 22:10:20
712
原创 CBAM：Convolutional Block Attention Module 学习笔记
方法：提出了卷积块注意力模块，这是一种简单有效的前馈卷积神经网络注意力模块，给顶一个中间特征图，模块沿着通道和空间两个独立的维度依次推断注意力图，然后将注意力图乘以输入特征图进行自适应特征细化，作为一个轻量化的通用模块，可以无缝集成到任何CNN架构中且开销忽略不计，可以与基础CNN一起进行端到端训练贡献：各种模型分类和检测性能都有持续改进。
2025-09-30 13:55:11
1013
原创 Selective Kernel Networks 学习笔记
背景：在标准CNN中，每一层卷积的感受野被设计成相同的大小方法：我们提出了一种卷积的动态选择机制，允许每一个神经元动态基于多重尺度的输入信息调整感受野大小，构建了一个选择核，其中使用这些分支的信息引导softmax注意力融合具有不同内核大小的多个分支，由多个SK但愿堆叠而成的神经网络称为SKNets贡献：在ImageNet和CIFAR基准上达到了SOTA。
2025-09-29 17:33:51
867
原创 Squeeze-and-Excitation Network 学习笔记
背景：卷积运算符能够通过融合每一层局部感受野的空间和信道信息构建信息特征。挑战：先前的研究试图通过提高整个特征层级结构的空间编码质量来增强CNN的表示能力。方法：本研究通过关注信道关系，提出了一种新颖的架构单元：“压缩和激励”块，能够显式模拟信道之间的相互依赖关系，用这些块堆在一起构成的架构在不同数据集中都能很好的泛化。贡献：本文提出了SENet架构，并达到了SOTA。
2025-09-29 11:04:49
574
原创 Java8实现Java 编辑器
再次执行系统命令,-cp表示java虚拟机去哪里查找要运行的类文件，" "+qualifiedClassName指定要运行的主类。如果是保存操作，当用户指定保存文件夹后，会使用BufferedWriter读取textArea中的内容。3.根据packageName将包名中的.替换为文件路径的/,从而创建正确目录的源文件。如果编译退出码不为0，说明编译失败，程序会读取编译器的错误输出流，并收集错误信息。构造方法，设置JFrame的标题栏窗口大小和关闭行为，是窗口的基本属性。
2025-09-16 20:30:15
352
原创 Lecture 6 Kernels, Triton 课程笔记
编程模型（PyTorch、Triton、PTX）与硬件之间的差距 => 性能奥秘理解扩展的基准测试用于理解 PyTorch 函数内部结构的分析（用内核触底）看 PTX 汇编，了解 CUDA 内核的内部结构编写函数的 5 种方法：manual、PyTorch、编译、CUDA、TritonGeLU（按元素）、softmax（按行）、matmul（复聚合）关键原则：组织计算以尽量减少读/写关键思想：内核融合（仓库/工厂类比）、平铺（共享内存）
2025-08-20 21:48:39
1006
原创 Lecture 5 GPUs课程笔记
GPU与CPU的核心设计差异是什么？GPU针对大规模并行线程优化，以吞吐量（总数据处理量）为核心目标；CPU则优化少量快速线程，聚焦延迟（单线程执行速度）。GPU通过大量流式多处理器（SM）和流式处理器（SP）实现并行，而CPU侧重复杂控制逻辑和低延迟缓存。GPU内存层次结构的关键特点是什么？内存速度随与流式多处理器（SM）的距离增加而降低：SM内部的L1缓存和共享内存最快，芯片上的L2缓存次之，芯片外的全局内存最慢。优化性能需减少全局内存访问，优先利用近距内存。
2025-08-20 21:46:29
795
原创 Lecture 4 Mixture of experts课程笔记
许多路由算法归根结底都是“选择前 k 个”混合专家模型（MoEs）利用了稀疏性——并非所有输入都需要完整的模型。离散路由很难，但前 k 启发式算法似乎可行现在有大量实证证据表明专家混合模型（MoEs）有效且具有成本效益。混合专家模型（MoE）用多个前馈网络（专家）和一个选择器层替代传统大型前馈网络，核心特点是通过稀疏路由仅激活部分专家，在不显著增加浮点运算量（FLOPs）的情况下提升参数规模，兼顾效率与性能。
2025-08-19 14:34:49
912
原创 Lec. 3： Architectures, Hyperparameters课程笔记
预归一化与后归一化：・每个人都采用预归一化（OPT350M 除外），这可能有充分的理由。层归一化与均方根归一化（RMSnorm）：・RMSnorm 在计算上有明显优势，有时甚至在性能上也有优势。门控机制：・门控线性单元（GLUs）总体上似乎更好，尽管差异不大。串行与并行层：・没有进行极其严格的消融实验，但在计算上有优势。从经验上看，在 1 到 10 之间存在一个区间，该超参数在这个区间内接近最优。前馈・经验法则的 4 倍因子（GLU 为 8/3）是标准做法（有一定证据）头维度。
2025-08-19 11:15:23
792
原创 Lec. 2： Pytorch, Resource Accounting 课程笔记
使用 float32 进行训练是有效的，但需要大量内存。使用 fp8、float16 甚至 bfloat16 进行训练是有风险的，并且可能会变得不稳定。解决方案（稍后）：使用混合精度训练前向传播约为2*数据*参数 FLOPs反向传播约为:4*数据*参数 FLOPs总计6*数据*参数 FLOPs使用建立一个简单的深度线性模型。总FLOPs约为6×数据量×参数量。其中前向传播占2×数据量×参数量，反向传播（含梯度计算）占4×数据量×参数量。
2025-08-19 11:04:25
878
原创 Codeforces Round 1012 (Div. 2) A-C
小B和小K轮流挖洞，每天小B先挖x米深，小K再挖y米深，宝藏藏在a.5米深，问谁先挖到。
2025-08-19 10:56:23
418
原创 Codeforces Round 1042 (Div. 3)
给你两个长度为n的数组a,b在每次迭代中：1.对于任意一个aibi的下标i，会让ai−12.对于任意一个aibi的下标i，会让ai1如果操作1无法执行，迭代终止问会进行几次迭代。
2025-08-14 15:34:16
1082
原创 Atto Round 1 (Codeforces Round 1041, Div. 1 + Div. 2) A-C
给你一个长度为n的数组，-1代表可以填充任意数字问当-1填充后，是否存在这样的数组，使得任意三个连续的数组元素它们的max-min=mex。
2025-08-08 17:38:49
796
原创 Educational Codeforces Round 177 (Rated for Div. 2) A-D
2kg浆果和2kg糖可以合成3kg糖浆给你数字n现在需要3*nkg糖浆，问需要多少kg浆果。
2025-08-08 11:21:45
809
原创 Lecture 1 Overview and Tokenization 课程笔记
分词器：字符串<>标记（索引）基于字符、基于字节、基于单词的标记化高度次优BPE 是一种有效的启发式方法，它着眼于语料库统计数据标记化是一种必要的邪恶，也许有一天我们会从字节开始…当前研究者与底层技术的关系及基础研究的需求是什么？当前研究者逐渐依赖专有模型（如 GPT-4），与底层技术脱节；但抽象存在泄漏性，基础研究需打破现有框架，触及底层细节以解决根本问题，因此充分理解技术对基础研究至关重要。大语言模型（LLM）的关键特征是什么？
2025-08-04 18:10:30
1228
原创 Codeforces Round 1040 (Div. 2) A-D
给你一个集合，每次你可以进行如下操作：选择一个子集，并将其变成这个子集的mex选择一个子集，并将其变成这个子集的总和问在进行任意次操作后，这个集合最后剩下的最大的数是多少。
2025-08-04 16:05:04
998
原创 Codeforces Round 1039 (Div. 2) A-C
给你n个垃圾袋，每个垃圾袋有一个重量在每秒钟，你可以选择一个垃圾袋，如果他的重量小于等于c，那么你可以不花费硬币丢掉它当你丢掉一个垃圾袋后，其他垃圾袋在这一秒重量会翻倍问最少花费几个硬币可以丢掉所有垃圾袋。
2025-08-02 23:25:41
446
原创 Educational Codeforces Round 181 (Rated for Div. 2) A-C
给你一个串，要求串内不能出现FFT或者NTT。
2025-08-02 20:23:16
369
原创 二刷 黑马点评 用户签到、UV统计
如何利用 Redis 实现用户签到功能？以 “年月” 为 key（如:202507），使用 BitMap 结构，将每月每天映射为 bit 位（1 表示签到，0 表示未签到）。通过SETBIT命令，以 “当月第 n 天 - 1” 为偏移量，将对应 bit 位置为 1，实现签到存储。如何统计用户当月的签到情况（如连续签到天数）？利用BITFIELD命令读取当月前 N 天的 bit 位（N 为当前日期），获取对应的无符号整数。
2025-07-18 21:24:34
1124
原创 二刷 黑马点评 附近商户
Redis GEO 数据结构在 “附近商户” 功能中核心作用是什么？Redis GEO 用于存储地理坐标信息（经度、纬度），并提供高效的地理位置查询能力（如范围搜索、距离计算），是实现 “按距离筛选附近商户” 功能的核心存储与查询工具。商户数据导入 Redis GEO 的关键步骤是什么？核心步骤包括：①从数据库查询所有商户信息；②按商户类型（typeId）分组，确保同类型商户聚合；
2025-07-18 21:01:38
1182
原创 二刷 黑马点评 好友关注
如何实现用户的关注、取关及关注状态判断功能？通过数据库表tb_follow存储用户关注关系，使用 MyBatis-Plus 实现：关注：向表中新增user_id（当前用户）和follow_user_id（被关注用户）的记录；取关：根据上述两个字段删除对应记录；判断关注状态：查询表中是否存在该用户对目标用户的关注记录，返回布尔值。共同关注功能的实现原理是什么？
2025-07-18 20:38:59
970
原创 二刷 黑马点评 达人探店
实现探店笔记的图文存储时，需设计哪些核心数据结构？需设计两个核心表：探店笔记表：存储笔记的标题、文字内容、图片路径等核心信息，用于承载笔记主体内容；评价表：存储其他用户对笔记的评价内容，关联笔记 ID 和评价用户 ID，实现笔记与评价的关联管理。图片上传功能中，如何避免文件名重复导致的覆盖问题？通过「生成新文件名」解决：先获取上传文件的原始文件名，提取文件后缀（如.jpg）；调用createNewFileName方法，基于原始后缀生成唯一文件名；
2025-07-18 16:44:47
948
原创 二刷 黑马点评 Redis消息队列
Redis 的 List、PubSub、Stream 三种消息队列各有什么核心特点和适用场景？List：特点：支持持久化、消息有序、基于 LPUSH/LPOP 操作，仅支持单消费者。适用场景：简单的单消费者异步通信（如订单通知），需保证消息有序性和持久化。PubSub：特点：基于发布 - 订阅模型，支持多生产者 / 多消费者，但不支持持久化，消息无堆积能力。适用场景：实时通知（如聊天消息广播），无需存储历史消息，可容忍消息丢失。
2025-07-18 15:48:27
1090
原创 二刷 黑马点评 秒杀优化
将高频、低耗时的校验逻辑放在 Redis 中执行，利用其内存级别的读写性能和原子性操作能力，可以快速完成资格校验。同时避免了直接访问数据库带来的网络延迟和 IO 开销，显著提升系统吞吐量。
2025-07-17 19:49:11
1230
原创 Codeforces Round 1016 (Div. 3) A-F
一个数字k是理想的生成器，如果对于任意一个数字n(n≥k,都存在数组和为n的回文数组，且这个数组的和的长度刚好为k。
2025-07-17 17:04:59
958
原创 二刷 黑马点评 分布式锁-redission
可重入锁是如何防止死锁的？可重入锁允许同一线程多次获取同一把锁，通过计数器（state）记录重入次数。重入时递增，释放时递减，减至 0 才完全释放锁。这种机制避免了同一线程因重复请求同一锁而导致的阻塞，从而防止死锁。Redisson 的分布式可重入锁如何实现原子性？Redisson 使用 Lua 脚本实现分布式锁的原子性操作。加锁时，通过 Lua 脚本原子性地检查锁是否存在、是否自己持有以及递增重入次数；释放锁时，同样通过 Lua 脚本原子性地递减重入次数并判断是否释放锁，确保操作的原子性。
2025-07-16 19:52:46
720
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人