论文翻译
文章平均质量分 95
ismiaodh
巨人的肩膀有点滑~
展开
-
(论文翻译)EXTREMELY SIMPLE ACTIVATION SHAPING FOR OUTOF-DISTRIBUTION DETECTION(ICLR2023)
背景:机器学习模型的训练和部署之间的分离意味着并不是部署中遇到的所有场景都可以在训练期间预测到,因此仅仅依赖于训练中的进步有其局限性挑战现有的OOD检测方法要么需要额外的训练步骤、额外的数据,要么对训练好的网络进行重大修改方法相比之下,在这项工作中,我们提出了一种非常简单的、post-hoc,其中样本在后期层的大部分激活(例如90%)被去除,其余部分(例如10%)被简化或轻微调整shaping在推理时应用,不需要从训练数据中计算任何统计信息贡献。原创 2024-06-20 15:49:20 · 1003 阅读 · 0 评论 -
(论文翻译)ViM Out-Of-Distribution with Virtual-logit Matching(CVPR2022)
背景:大多数现有的out - distribution (OOD)检测算法依赖于单一输入源:feature、logit或softmax概率挑战然而,OOD示例的巨大多样性使得这些方法很脆弱有些OOD样本在特征空间中很容易识别,而在logit空间中很难区分,反之亦然方法。原创 2024-06-19 09:50:52 · 1239 阅读 · 0 评论 -
(论文翻译)A BASELINE FOR DETECTING MISCLASSIFIED AND OUT-OF-DISTRIBUTION EXAMPLES IN NEURAL NETWORKS
我们考虑了两个相关的问题,即检测样本是否被错误分类或OOD我们提出了一个简单的基线,利用了softmax分布的概率正确分类的示例往往比错误分类和OOD样本具有更大的softmax概率,从而可以检测它们我们通过定义计算机视觉、自然语言处理和自动语音识别中的几个任务来评估性能,展示了该基线在所有方面的有效性然后,我们展示了基线有时可以被超越,这表明了对这些未充分开发的检测任务的未来研究空间。原创 2024-06-18 14:40:58 · 992 阅读 · 0 评论 -
(论文翻译)Coordinate Attention for Efficient Mobile Network Design(坐标注意力 CVPR2021)
最近在移动网络设计的研究在通道注意力上(如SENet)表现出引人注意的效果,但是他们普遍忽略了位置信息,这对生成空间注意力特征映射是重要的方法。原创 2024-06-09 08:00:00 · 848 阅读 · 0 评论 -
(论文翻译)Rotate to Attend Convolutional Triplet Attention Module(维度注意力 WACV2021)
背景:受益于通道或空间位置的相互依赖,注意力机制最近被广泛研究并使用在一系列CV任务方法在本文中,我们研究轻量且高效的注意力机制并提出triplet注意力,一种通过使用三分支结构捕获跨维度的计算注意力权重的新颖方法对于输入的张量,triplet attention用最小的计算开销,通过残差转换与编码通道、空间信息的旋转操作建造维度间的依赖我们的方法简单高效,可以简单的作为模块插入经典的主干网络贡献。原创 2024-05-13 08:30:00 · 1480 阅读 · 0 评论 -
(论文翻译)Vision Transformer(视觉Transformer ICLR2021)
挑战虽然Tansformer架构再NLP任务上已经成为实际标准,但是它对CV的应用仍存在限制在视觉中,注意力结合着卷积网络一起应用,或者替换卷积网络的某一部分,同时保持他们的整体结构不变方法我们证明了这种对CNN的依赖是不必要的,一种完全应用Tansformer直接将图片patches序列化可以在图形分类任务中性能更好贡献。原创 2024-05-12 08:30:00 · 1044 阅读 · 1 评论 -
(论文翻译)Selective Kernel Networks(多尺度注意力CVPR2019)
在标准的CNNs网络中,每层中的人工神经元的感受野size是固定的挑战:众所周知,神经科学领域中,视觉皮层神经元的感受野size随着刺激进行改变,在CNNs的构建中很少被考虑方法在CNNS中,我们提出了一种动态选择机制,它使每个神经元动态的调整基于输入信息的多尺度的感受野size一种SK unit被设计,其中不同感受野size的多种branches通过这些branches上的信息使用进行融合branches上不同的attention在融合层中会产生不同的神经元感受野size。原创 2024-05-11 08:30:00 · 1290 阅读 · 1 评论 -
(论文翻译)CBAM Convolutional Block Attention Module(通道+空间注意力ECCV2018)
Convolutional Block Attention Module (CBAM),一种简单高效的前馈卷积神经网络注意力模块给定一个中间的feature map,我们的模型沿着两个独立的维度推断出attention map,即通道与空间,然后将attention map与输入feature map相乘进行自适应特征细化由于CBAM是一个轻量级的泛化模型,它可以被无缝整合到任意CNN结构原创 2024-05-10 08:30:00 · 1326 阅读 · 0 评论 -
(论文翻译)Squeeze-and-Excitation Networks (通道注意力CVPR2018)
背景:卷积神经网络的目的是通过局部感受野融合空间信息(图像中像素的排列和位置)和通道信息来提取具有更多信息的特征。挑战:如何提升网络的表示能力?提出新方法:我们聚焦在通道关系并提出SE block,它可以通过通道间的依赖关系动态调整通道特征。贡献我们证明了通过不断的SE block堆叠,可以得到极具泛化性的网络结构,并适用于多种数据集。SE block相对于已有的SOTA方法中有着最小额外计算开销。SENets在排名前五的方法中误差降低到2.2512.251\%2.251%。原创 2024-05-09 11:10:33 · 770 阅读 · 2 评论