Paper
文章平均质量分 97
各种人工智能经典论文的精度笔记与代码复现。
优惠券已抵扣
余额抵扣
还需支付
¥19.90
¥99.00
购买须知?
本专栏为图文内容,最终完结不会低于15篇文章。
订阅专栏,享有专栏所有文章阅读权限。
本专栏为虚拟商品,基于网络商品和虚拟商品的性质和特征,专栏一经购买无正当理由不予退款,不支持升级,敬请谅解。
别团等shy哥发育
硕士在读,对分布式、中间件、容器、微服务、深度学习、机器学习与数据挖掘方面感兴趣,希望可以在这些方面和大家交流学习方法。
后续文章会搬到这里:www.codeleader.top
展开
-
ResNet-RS架构复现--CVPR2021
我们的工作重新审视了规范的 ResNet (He et al., 2015),并研究了这三个方面,以试图解开它们。也许令人惊讶的是,我们发现训练和扩展策略可能比架构变化更重要,而且由此产生的 ResNet 与最近最先进的模型相匹配。我们展示了表现最佳的缩放策略取决于训练方案,并提供了两种新的缩放策略:(1)在可能发生过度拟合的情况下缩放模型深度(否则宽度缩放更可取);(2) 提高图像分辨率的速度比之前推荐的要慢(Tan & Le,2019)。使用改进的训练和扩展策略,我们设计了一系列 ResNet 架构。原创 2022-09-07 22:28:45 · 2092 阅读 · 0 评论 -
ConvNext模型复现--CVPR2022
ConvNet和Vision Transformer的ImageNet分类结果。我们证明了标准的 ConvNet 模型可以实现与分层视觉 Transformer 相同的可扩展性,同时在设计上要简单得多。视觉识别的“咆哮的 20 年代”始于 Vision Transformers (ViTs) 的引入,它迅速取代了 ConvNets,成为最先进的图像分类模型。另一方面,普通的 ViT 在应用于目标检测和语义分割等一般计算机视觉任务时面临困难。原创 2022-09-06 20:06:43 · 1978 阅读 · 0 评论 -
GhostNet架构复现--CVPR2020
由于内存和计算资源有限,在嵌入式设备上部署卷积神经网络 (CNN) 很困难。特征图中的冗余是那些成功的 CNN 的一个重要特征,但在神经架构设计中很少被研究。本文提出了一种新颖的 Ghost 模块,可以从廉价的操作中生成更多的特征图。基于一组内在特征图,我们应用一系列成本低廉的线性变换来生成许多ghost特征图,这些特征图可以充分揭示内在特征的信息。所提出的 Ghost 模块可以作为一个即插即用的组件来升级现有的卷积神经网络。原创 2022-09-05 22:37:05 · 1241 阅读 · 2 评论 -
RegNet架构复现--CVPR2020
在这项工作中,我们提出了一种新的网络设计范式。我们的目标是帮助促进对网络设计的理解,并发现跨环境通用的设计原则。我们不是专注于设计单个网络实例,而是设计参数化网络群体的网络设计空间。整个过程类似于经典的网络手动设计,但提升到了设计空间级别。使用我们的方法,我们探索了网络设计的结构方面,并得出了一个由简单、规则的网络组成的低维设计空间,我们称之为RegNet。好的网络的宽度和深度可以用一个量化的线性函数来解释。我们分析了 RegNet 设计空间并得出了与当前网络设计实践不匹配的有趣发现。原创 2022-09-04 21:57:25 · 1196 阅读 · 0 评论 -
EffiecientNetV2架构复现--CVPR2021
图 1. ImageNet ILSVRC2012 top-1 准确度与训练时间和参数的关系——标记为 21k 的模型在 ImageNet21k 上进行了预训练,而其他模型则直接在 ImageNet ILSVRC2012 上进行了训练。训练时间是用 32 个 TPU 核心测量的。所有 EfficientNetV2 模型都经过渐进式学习的训练。我们的 EfficientNetV2 的训练速度比其他方法快 5 到 11 倍,同时使用的参数最多可减少 6.8 倍。原创 2022-09-03 10:04:36 · 900 阅读 · 0 评论 -
EfficientNet代码复现--ICML2019
我们提出的复合缩放方法,它以固定比例均匀缩放所有三个维度。 缩放网络深度是许多 ConvNet 最常用的方式.直觉是,更深的 ConvNet 可以捕获更丰富、更复杂的特征,并且可以很好地概括新任务。然而,由于梯度消失问题,更深层次的网络也更难训练。尽管skip connections和batch normailzation等多种技术缓解了训练问题,但非常深的网络的准确度增益降原创 2022-09-01 21:30:23 · 596 阅读 · 0 评论 -
ResNetV2模型复现--CVPR2016
图中的 Iterations 表示迭代次数;Test Error 表示测试集错误率。 (a)original 表示原始的 ResNet 的残差结构,(b)proposed 表示新的 ResNet 的残差结构。主要差别就是(a)结构先卷积后进行 BN 和激活函数计算,最后执行 addition 后再进行ReLU 计算; (b)结构先进行 BN 和激活函数计算后卷积,把 addition 后的 ReLU 计算放到了残差结构内部。 作者使用这两种不同的结构在 CIFAR-10 数据集上做测试,模型用的是原创 2022-08-31 16:17:38 · 656 阅读 · 1 评论 -
MobileNetV3架构解析与代码复现
MobileNet模型基于深度可分离卷积,这是一种分解卷积的形式,将标准卷积分解为深度卷积和的点卷积。对于MobileNet,深度卷积将单个滤波器应用于每个输入通道,然后,逐点卷积应用卷积将输出与深度卷积相结合。标准卷积在一个步骤中将输入滤波并组合成一组新的输出。深度可分离卷积将标准的卷积层分解为两层来做: 首先是各个通道单独做卷积运算,称之为Depthwise Convolution然后用一个1*1的标准卷积层进行各个通道间的合并,称之为Pointwise Convolution 论文...原创 2022-08-26 20:23:42 · 944 阅读 · 0 评论 -
DenseNet:Densely Connected Convolutional Networks--CVPR2017最佳论文奖
DenseNet:以前馈方式将每一层连接到其他每一层。对于具有L层的传统卷积网络有L个连接(每一层与其后续层之间有一个连接),而DenseNet有L(L+1)2\frac{L(L+1)}{2}2L(L+1)个连接。 对于每一层,所有前面层的特征图都被用作输入,它自己的特征图被用作所有后续层的输入。 DenseNet有几个引人注目的优势: 在本文中,我们提出了一种架构,将这种见解提炼成一个简单的连接模式:为了确保网络中各层之间的最大信息流,我们将所有层(具有匹配的特征图大小)直接相互连接。为了保持原创 2022-08-23 22:15:08 · 1327 阅读 · 0 评论 -
CBAM:Convolutional Block Attention Module--通道+空间混合注意力
提出了卷积块注意模块(CBAM),这是一种用于前馈卷积神经网络的简单而有效的注意模块。给定一个中间特征图,我们的模块沿两个单独的维度(通道和空间)顺序推断注意力图,然后将注意力图乘以输入特征图以进行自适应特征细化。==因为 CBAM 是一个轻量级的通用模块,它可以无缝集成到任何 CNN 架构中,开销可以忽略不计,并且可以与基础 CNN 一起进行端到端训练。关键词:目标检测,注意力机制,门控卷积。图 1:CBAM 概述。该模块有两个顺序子模块:通道和空间。原创 2022-08-22 16:24:24 · 1055 阅读 · 0 评论 -
ECA-Net:深度卷积神经网络的高效通道注意力
注意力机制的核心重点就是让网络关注到它更需要关注的地方。当我们使用卷积神经网络去处理图片的时候,我们会更希望卷积神经网络去注意应该注意的地方,而不是什么都关注,我们不可能手动去调节需要注意的地方,这个时候,如何让卷积神经网络去自适应的注意重要的物体变得极为重要。注意力机制就是实现网络自适应注意的一个方式。 注意力机制能够从大量的信息中筛选出重要的信息。在神经网络中引入注意力机制有很多种方法,以卷积神经网络为例,可以在空间维度增加引入注意力机制,也可以在通道维度增加注意力机制(SENet),当然也有原创 2022-08-21 16:29:51 · 1697 阅读 · 0 评论 -
ResNext架构解析:深度神经网络的聚合残差变换
我们提出了一种用于图像分类的简单、高度模块化的网络架构。我们的网络是通过重复一个构建块来构建的,该构建块聚合了一组具有相同拓扑的转换。我们简单的设计产生了一个同构的多分支架构,只需设置几个超参数。这个策略暴露了一个新的维度,我们称之为“基数”(转换集的大小),作为除了深度和宽度维度之外的重要因素。在 ImageNet-1K 数据集上,我们凭经验表明,即使在保持复杂性的限制条件下,增加基数也能够提高分类精度。此外,当我们增加容量时,增加基数比更深或更宽更有效。原创 2022-08-20 16:48:10 · 836 阅读 · 0 评论 -
ShuffleNetV2:设计轻量化卷积神经网络的理论准则和应用实现
目前,神经网络架构设计主要由计算复杂度的间接度量,即 FLOPs 指导。然而,直接指标(例如速度)还取决于其他因素,例如内存访问成本和平台特性。因此,这项工作建议评估目标平台上的直接指标,而不仅仅是考虑 FLOP。基于一系列受控实验,这项工作得出了几个有效网络设计的实用指南。因此,提出了一种新的架构,称为 ShuffleNet V2。全面的消融实验验证了我们的模型在速度和准确性的权衡方面是最先进的。原创 2022-08-19 18:03:59 · 518 阅读 · 0 评论 -
ShuffleNetV1:极致轻量化卷积神经网络(分组卷积+通道重排)
我们引入了一个高效计算的CNN结构名字叫做shuffleNet,这个结构被设计用来解决部署算力非常有限的移动设备问题,这个新的结构使用了两个新的操作,pointwise group convolution 和 channel shuffle能够在极大减少计算量的同时保持一定的精度。我们在ImageNet classification和MS COCO目标检测数据集上做实验论证了ShuffleNet和其他的结构相比有着很好的性能。比如,相比于mobilenet,shufflenet在ImageNet...原创 2022-08-18 22:32:27 · 1295 阅读 · 3 评论 -
MnasNet架构解析与复现-神经架构搜索
为移动设备设计卷积神经网络 (CNN) 具有挑战性,因为移动模型需要小而快,但仍要准确。尽管在所有维度上都致力于设计和改进移动 CNN,但当需要考虑如此多的架构可能性时,很难手动平衡这些权衡。在本文中,我们提出了一种自动移动神经架构搜索 (MNAS) 方法,该方法明确地将模型延迟纳入主要目标,以便搜索可以识别出在准确性和延迟之间取得良好折衷的模型。与之前的工作不同,延迟是通过另一个通常不准确的代理(例如 FLOPS)来考虑的,我们的方法通过在手机上执行模型来直接测量现实世界的推理延迟。为了进一步在灵活性原创 2022-08-17 21:11:59 · 521 阅读 · 0 评论 -
SENet架构-通道注意力机制
SENet 是 ImageNet Challenge 图像识别比赛 2017 年的冠军,是来自 Momenta 公司 的团队完成。他们提出了 Squeeze-and-Excitation Networks(简称 SENet)。SENet 不是独立的模型设计,只对模型的一种优化。一般 SENet 都会结合其它模型一起使用,比如 SENet 用于 ResNet-50 中我们就把这个模型称为 SE-ResNet-50,比如 SENet 用于 Inception-ResNet-v2 中我们就把这个模型称为 SE原创 2022-08-16 15:46:25 · 2484 阅读 · 0 评论 -
Xception:使用深度可分离卷积的深度学习算法
Xception是对Inception-V3的另一种改进版本,这两种网络的参数量都差不多。还是使用keras中的预训练模型来对自定义的数据集进行图像分类,共17个类别,文件夹的名称就是图片的标签。数据集是放在远程的GPU服务器上的,这个模型太大,我本地机器跑不动。......原创 2022-08-15 10:12:32 · 735 阅读 · 0 评论 -
VGGNet架构解析
VGGNet 是 2014 年 ImageNet Challenge 图像识别比赛的亚军。参赛团队是来自牛津 大学的研究组 VGG (Visual Geometry Group)。VGGNet 的很多设计思想都受到 AlexNet 的影响,所以跟 AlexNet 也有一点点相似的地方。VGGNet 不仅在图像识别方向有着广泛应 用,很多目标检测,目标分割,人脸识别等方面的应用也会使用 VGGNet 作为基础模型。...原创 2022-08-13 20:09:17 · 1052 阅读 · 0 评论 -
Inception-v4 和 Inception-ResNet架构
Inception-v3 结构的复杂程度以后够复杂了,但是它还有几个升级版本,就是 Inception-v4,Inception-ResNet-v1 和 Inception-ResNet-v2。这几个升级版本都出自同 一篇论文《Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning》 这几个升级版的 Inception 模型基本设计思路都是遵循 Inception-v3 的设计思路,只不 过比原创 2022-08-13 12:02:05 · 663 阅读 · 0 评论 -
Inception-v2/v3模型
Inception-v2和Inception-v3都是出自同一篇论文《Rethinking the inception architecture for computer vision》,该论文提出了多种基于 Inception-v1 的模型优化 方法,Inception-v2 用了其中的一部分模型优化方法,Inception-v3 用了论文中提到的所有 优化方法。相当于 Inception-v2 只是一个过渡版本,Inception-v3 一般用得更多。 Inception-v3 最大的优化是模型原创 2022-08-13 11:14:48 · 810 阅读 · 0 评论 -
GoogleNet架构解析
GoogleNet 是 2014 年 ImageNet Challenge 图像识别比赛的冠军。从它的名字我们就 可以看出是来自谷歌的团队完成的。前面我们有介绍,GoogleNet 之所以获得冠军,是因为 它进行模型融合以后得到的效果要比 VGGNet 模型融合之后的效果要好。不过单模型比拼, 它与 VGGNet 的效果相当。虽然 GoogleNet 的模型的效果跟 VGGNet 相差不大,不过它比 VGGNet 更具有创新 性。......原创 2022-08-12 15:36:40 · 2544 阅读 · 0 评论 -
AlexNet架构解析
(AI教父,2019图灵奖得主)AlexNet是2012年ImageNet图像分类竞赛的冠军,首次将卷积神经网络CNN和深度学习用于大规模图像分类并且性能优异,在今天也具有一定的参考价值。原创 2022-08-11 21:13:33 · 588 阅读 · 0 评论 -
ResNet架构解析
ResNet 即深度残差网络,由何恺明及其团队提出,是深度学习领域又一具有开创性的工作,通过对残差结构的运用,ResNet 使得训练数百层的网络成为了可能,从而具有非常强大的表征能力原创 2022-08-05 18:20:40 · 1070 阅读 · 0 评论 -
MobileNetV2架构解析
MobileNetV1先使用深度卷积,再使用逐点卷积,全部采用ReLU6激活函数 MobileNetV2先使用卷积升维,在高维空间下使用的深度卷积,在使用卷积降维,在降维时采用线性激活函数。当步长为1时,使用残差连接输入和输出;当步长为2时,不适用残差连接,因为此时的输入特征矩阵和输出特征矩阵的shaoe不相等.........原创 2022-08-04 17:26:48 · 1342 阅读 · 0 评论 -
MobileNetV1架构解析
MobileNets基于一种流线型架构,使用深度可分离卷积构建轻量级深度神经网络。我们引入了两个简单的全局超参数,可以有效地在延迟和准确性之间进行权衡。这些超参数允许模型生成器根据问题的约束为其应用程序选择适当大小的模型。我们在资源和准确性权衡方面进行了大量实验,与其他流行的ImageNet分类模型相比,我们表现出了强大的性能。然后,我们展示了MobileNet在广泛的应用和用例中的有效性,包括目标检测、精细分类、人脸属性和大规模地理定位。MobileNet模型可应用于各种识别任务,以实现高效的设备智能。.原创 2022-08-03 20:52:24 · 1202 阅读 · 0 评论 -
Deep Residual Learning for Image Recognition--ResNet经典论文
更深层次的神经网络更难训练。我们提出了一个残差学习框架,以简化比以前使用的网络深度更大的网络的训练。我们明确地将层重构为参考层输入的学习残差函数,而不是学习未引用函数。我们提供了全面的经验证据,表明这些残差网络更容易优化,并且可以从大幅增加的深度中获得准确性。在ImageNet数据集上,我们评估了深度高达152层的剩余网络,比VGG网络深8倍,但复杂性仍然较低。这些残差网络的集合在ImageNet测试集上实现了3.57%的误差。该结果在ILSVRC2015分类任务中获得第一名。......翻译 2022-07-17 21:13:24 · 582 阅读 · 0 评论