论文阅读
文章平均质量分 94
万里鹏程转瞬至
一名热爱深度学习算法实践的算法工程师,工作日长期活动在线,有项目研发技术问题均可私聊。
展开
-
论文阅读:MicroNet: Towards Image Recognition with Extremely Low FLOPs
MicroNet是一种有效的卷积神经网络,使用极低的计算成本(例如,在ImageNet分类上的6M FLOPs)。现有的低成本的网络在边缘设备上速度理想,但通常会出现严重的性能下降。MicroNet基于两个设计原则来处理极低的FLOPs:`(a)通过降低节点连通性来避免网络宽度的减少`,`(b)通过引入更复杂的每层非线性来补偿网络深度的减少`。首先,提出了`微因子分解卷积,将点态和深度卷积分解成低秩矩阵`,以便在通道数量和输入/输出连接之间进行良好的权衡。其次,我们提出了`一种新的激活函数,即Dynamic原创 2024-09-01 17:27:16 · 1165 阅读 · 0 评论 -
论文阅读:MobileViT: LIGHT-WEIGHT, GENERAL-PURPOSE,AND MOBILE-FRIENDLY VISION TRANSFORMER
发表时间:2022.03.04论文地址:https://arxiv.org/abs/2110.02178项目地址:https://github.com/apple/ml-cvnets轻量级卷积神经网络(CNNs)实际上是移动视觉任务的首选。他们的空间归纳偏差允许他们在不同的视觉任务中以更少的参数学习表征。然而,这些网络在空间上是局部的。为了学习全局表示,我们采用了基于self-attention的视觉Transformer(ViTs)。与cnn不同,vit是参数量级的。原创 2023-06-30 23:38:39 · 1270 阅读 · 3 评论 -
论文解读:SuperGlue: Learning Feature Matching with Graph Neural Networks
1、将两个图之间的特征点匹配问题松弛为两个特征点图的最优传输问题,可以快速的处理遮挡点、不可重复点的问题;2、以图像对的形式进行端到端的训练,预先在大型数据集学习姿态估计的先验,使其能推理三维场景;3、将自然先验应用到模型结构设计中(可以见章节三),设计了点最多是一对一、有些点缺少匹配点;4、将特征点之间的关系定义为内点(一个图像内)和外点(两个图像间),分别使用self-attention和cross-attenion提前特征;5、使用神经网络预测两个图之间的传输成本,然后使用辛克霍恩迭代来计算两原创 2023-06-10 07:45:04 · 4352 阅读 · 0 评论 -
论文解读:ViT | AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE
Transformers的特点1、性能饱和慢,随着数据增长,性能可持续增长。文章中的实验效果也展示了这一点2、Transformers的核心在于迁移,直接训练效果不如resnet;但在大数据集下预训练后迁移,性能提升显著3、Transformers对于数据的归纳偏置较小(大数据下效果好),Conv对于数据的偏置较大(小数据下效果好)4、在Transformers中的FeedForward层内是用GELU做激活函数,在整个Transformers中都是使用LayerNorm。原创 2023-03-27 20:17:08 · 706 阅读 · 1 评论 -
论文解读:SuperPoint: Self-Supervised Interest Point Detection and Description
我们提出了一种全卷积神经网络架构,用于兴趣点检测和描述,使用自形自适应的自监督域适应框架。我们的实验表明,(1)可以转移知识从一个合成数据集到现实世界的图像,(2)稀疏兴趣点检测和描述可以作为一个有效的卷积神经网络,和(3)产生的系统适用于几何计算机视觉匹配任务等同质估计。未来的工作将研究同质自适应是否可以提高模型的性能,如用于语义分割(如SegNet [1])和目标检测(如SSD [14])。它还将仔细研究兴趣点检测和描述(以及潜在的其他任务)对彼此有益的方式。原创 2023-02-21 21:01:05 · 2715 阅读 · 4 评论 -
论文解读:odconv | OMNI-DIMENSIONAL DYNAMIC CONVOLUTION
ODConv对于动态卷积的定义实现如下所示,其中αwiαwi表示对卷积核WiW_iWi的注意力,αsiαsi表示对kxk卷积核空间上的注意力,αciαci表示对输入channel的注意力,αfiαfi表示对输出channel的注意力。这里每个注意力的实现方式是有细微差距的。原创 2023-02-05 10:00:00 · 4031 阅读 · 5 评论 -
论文阅读:Averaging Weights Leads to Wider Optima and Better Generalization
深度神经网络的训练通常是通过使用一个SGD变体来优化一个损失函数,并结合一个衰减的学习速率,直到收敛。我们表明,沿着具有循环或恒定学习速率的SGD优化轨迹中的多个点(模型权重)的简单平均,可以取得比传统训练更好的泛化。翻译 2022-09-25 01:00:00 · 569 阅读 · 1 评论 -
论文阅读:Path Aggregation Network for Instance Segmentation
信息在神经网络中的传播方式是非常重要的。在本文中,我们提出了路径聚合网络(PANet),旨在在基于所提出的实例分割框架中促进信息流。具体来说,我们通过自底向上的路径增强,利用底层中的精确定位信号来增强整个特征层次,缩短了下层与最上层特征之间的信息路径。我们提出了自适应特征池化,它将特征网格和所有特征级别连接起来,使每个特征级别上的有用信息直接传播到下面的子网。翻译 2022-09-20 10:13:05 · 442 阅读 · 0 评论 -
论文阅读:CSPNET: A NEW BACKBONE THAT CAN ENHANCE LEARNING CAPABILITY OF CNN
神经网络已经使最先进的方法在计算机视觉任务上实现了令人难以置信的结果,如目标检测。然而,这种成功在很大程度上依赖于昂贵的计算资源,这阻碍了使用廉价设备的人欣赏先进的技术。在本文中,我们提出了跨阶段部分网络(CSPNet),以缓解以往的工作从网络架构的角度需要大量的推理计算的问题。我们将这个问题归因于网络优化中的重复梯度信息。提出网络尊重梯度的可变性通过整合特征地图从开始和结束的网络阶段,在我们的实验中,在ImageNet数据集上实现同等甚至更高的精度减少20%的计算,在MS COCO目标检测数据集上的$AP翻译 2022-09-16 10:17:33 · 629 阅读 · 1 评论 -
论文阅读:Self-Attention Generative Adversarial Networks
论文地址:https://arxiv.org/abs/1805.08318发表时间:2019项目地址:https://github.com/heykeetae/Self-Attention-GAN在本文中,我们提出了自注意生成对抗网络(SAGAN),它允许对图像生成任务进行注意驱动的长期依赖建模。传统的卷积GANs只在低分辨率特征图中生成高分辨率的细节。在SAGAN中,细节可以使用来自所有特征位置的线索来生成。此外,鉴别器还可以检查图像远处部分的高级的特征是否相互一致。......翻译 2022-08-19 09:06:30 · 528 阅读 · 0 评论 -
论文阅读:HarDNet: A Low Memory Traffic Network
最先进的神经网络结构,如ResNet,MobileNet和DenseNet,在低MACss和小参数模型上取得了卓越的精度。然而,这些指标对于预测推断时间可能并不准确。我们认为,访问中间特征图的内存传输可能是主导推理延迟的一个因素,特别是在实时目标检测和高分辨率视频语义分割等任务中。我们提出了一个谐波密集连接的网络,以实现在低MACss和内存流量方面的高效率。...原创 2022-07-24 02:30:00 · 1288 阅读 · 7 评论 -
论文阅读:SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS
我们提出了一种可扩展的图结构数据的半监督学习方法,该方法基于直接在图上操作的卷积神经网络的有效变体。我们通过谱图卷积局部的一阶近似来实现我们的卷积体系结构的选择。我们的模型在图边的数量上呈线性扩展,并学习编码局部图结构和节点特征的隐藏层表示。在引文网络和知识图数据集上的许多实验中,我们证明了我们的方法显著优于相关方法。......原创 2022-07-14 22:00:34 · 615 阅读 · 1 评论 -
论文阅读:Faster AutoAugment: Learning Augmentation Strategies using Backpropagation
数据增强是机器学习的一种强大技术,可以增加数据的数量和多样性,提高性能,特别是在图像识别任务中。传统的数据增强方法包括几何变换,如旋转和颜色增强,如自动对比度。与其他超参数类似,数据增强策略的设计者通常根据他们的先验知识(例如,所需的不变性)来选择转换操作。例如,水平翻转被认为对一般的物体识别有效,但可能对数字识别无效。除了选择之外,设计者还需要结合几种操作并设置它们的大小(例如,旋转度)。因此,数据增强策略的设计是一个复杂的组合问题。当以数据分割的方式设计数据增强策略时,人们可以将这个问题看作是搜索空间中原创 2022-07-08 15:18:55 · 830 阅读 · 0 评论