Paper Reading:Learning Transferable Architectures for Scalable Image Recognition

最新推荐文章于 2024-01-28 21:47:55 发布
最新推荐文章于 2024-01-28 21:47:55 发布
阅读量133 收藏
点赞数
分类专栏： computer vision DeepLearning Model compression
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42364203/article/details/107948603
版权

Learning Transferable Architectures for Scalable Image Recognition

Motivation

NAS直接搜全部结构方法太慢，设计一个搜索空间较小的方法。即类似于LSTM中的子结构，重复堆叠这些子结构，从而得到较深的网络。

在这里插入图片描述

Architecture

对于两种不同的数据集，大致的设计了两种不同的网络结构，

在这里插入图片描述

确定好整体结构后，按照以下步骤

  • Step 1. Select a hidden state from hi, hi−1 or from the set of hidden states created in previous blocks.

  • Step 2. Select a second hidden state from the same options as in Step 1.

  • Step 3. Select an operation to apply to the hidden state selected in Step 1.

  • Step 4. Select an operation to apply to the hidden state selected in Step 2.

  • Step 5. Select a method to combine the outputs of Step 3 and 4 to create a new hidden state.
    在这里插入图片描述

第三步和第四步的操作合集如下，

在这里插入图片描述

第五步的操作合集如下，

(1) element-wise addition be- tween two hidden states or

(2) concatenation between two hidden states along the filter dimension

Experiment

最终得到的网络结果如下：

在这里插入图片描述

在分类上的结果，
在这里插入图片描述

yzhang_1
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Learning Transferable Architectures for Scalable Image Recognition
09-18
Developing neural network image classification models often requires significant architecture engineering. In this paper, we study a method to learn the model architectures directly on the dataset of interest. As this approach is expensive when the dataset is large, we propose to search for an architectural building block on a small dataset and then transfer the block to a larger dataset. The key contribution of this work is the design of a new search space (which we call the “NASNet search space”) which enables transferability. In our experiments, we search for the best convolutional layer (or “cell”) on the CIFAR-10 dataset and then apply this cell to the ImageNet dataset by stacking together more copies of this cell, each with their own parameters to design a convolutional architecture, which we name a “NASNet architecture”. We also introduce a new regularization technique called ScheduledDropPath that significantly improves generalization in the NASNet models. On CIFAR-10 itself, a NASNet found by our method achieves 2.4% error rate, which is state-of-the-art. Although the cell is not searched for directly on ImageNet, a NASNet constructed from the best cell achieves, among the published works, state-of-the-art accuracy of 82.7% top-1 and 96.2% top-5 on ImageNet. Our model is 1.2% better in top-1 accuracy than the best human-invented architectures while having 9 billion fewer FLOPS – a reduction of 28% in computational demand from the previous state-of-the-art model. When evaluated at different levels of computational cost, accuracies of NASNets exceed those of the state-of-the-art human-designed models. For instance, a small version of NASNet also achieves 74% top-1 accuracy, which is 3.1% better than equivalently-sized, state-of-the-art models for mobile platforms. Finally, the image features learned from image classification are generically useful and can be transferred to other computer vision problems. On the task of object detection, the learned features by NASNet used with the Faster-RCNN framework surpass state-of-the-art by 4.0% achieving 43.1% mAP on the COCO dataset
[深度学习从入门到女装]Learning Transferable Architectures for Scalable Image Recognition
炼丹师
03-06 1584
论文地址：Learning Transferable Architectures for Scalable Image Recognition 这是谷歌大脑的一篇关于神经网络结构最优搜索的论文 在基于Neural Architecture Search (NAS)进行网络结构最优搜索的结构上进行改进，不搜索整个网络的结构，只搜索block（cell）的最优结构，因为目前最流行的网络都是c...
【NasNet】《Learning Transferable Architectures for Scalable Image Recognition》
bryant_meng
07-23 572
CVPR-2018 文章目录1 Background and Motivation2 Advantages / Contributions3 Notions / Innovations4 Method5 Datasets6 Experiments7 Conclusion / Future work 1 Background and Motivation 2 Advantages / Con...
NASNet：Learning Transferable Architectures for Scalable Image Recognition
just
01-04 193
本文研究了一种直接在感兴趣的数据集上学习模型架构的方法。由于这种方法在数据集较大时成本较高，因此建议在小数据集上搜索架构构建block，然后将该block转移到更大的数据集上。本文贡献：设计了一个新的搜索空间(称为“NASNet搜索空间”)，实现了可移植性，搜索出的网络架构称为"NASNet"；本文工作受NAS启发，NAS或任何其他搜索方法直接应用于大型数据集(如ImageNet数据集)，计算成本很高；本文建议在一个小型数据集上搜索，迁移到大型数据集，通过设计一个搜索空间来实现这种可移植性；
2015 Learning Transferable Features with Deep Adaptation Networks.pdf
04-02
2015 Learning Transferable Features with Deep Adaptation Networks.pdf
hogmatlab源码-Learning-Transferable-Subspace-for-Human-Motion-Segmentatio
05-19
猪matlab原始码学习用于人体运动分割的可转移子空间 该存储库包含我们AAAI 18论文（TSS）的代码。 TSS是一种用于时空中人类动作分割的新颖方法。 它利用标记良好的源视频来改善目标视频分割性能。...
Learning transferable features with deep adaptation networks.pdf
07-28
Learning transferable features with deep adaptation networks.pdf，仅能供参考
Learning Transferable Architectures for Scalable image recognition
liguandong
03-19 3417
Learning Transferable Architectures for Scalable image recognition 网络结构设计 Abstract: As this approach is expensive when the dataset is large,we propose to search for an architectural building block o...
自学网络结构（二）：Learning Transferable Architectures for Scalable Image Recognition
AI之路
11-13 5604
论文：Learning Transferable Architectures for Scalable Image Recognition 链接：https://arxiv.org/abs/1707.07012Google Brain的作品，关于用神经网络学习另一个神经网络的结构。我们知道现在图像分类、检测算法的优劣很大一部分取决于网络结构的设计，最近今年比较优秀的分类网络结构比如VGG，ResN
NASNet-Learning Transferable Architectures for Scalable Image Recognition-笔记
jiayoudangdang的博客
03-01 820
NASNet-Learning Transferable Architectures for Scalable Image Recognition 0 摘要 开发神经网络图像分类模型通常需要大量的架构工程。在本文中，我们研究了一种直接在感兴趣的数据集上学习模型架构的方法。由于当数据集很大时此方法很昂贵，因此我们建议在较小的数据集上搜索建筑构造块，然后将其转移到较大的数据集中。这项工作的主要贡献是设计了一个新的搜索空间（我们称其为NASNet搜索空间），该空间可以实现可移植性。在我们的实验中，我们在CIF
NASNet:Learning Transferable Architectures for Scalable Image Recognition 学习可伸缩的图像识别的可转移架构
Cinderella___的博客
11-29 420
1,说明 神经网络图像分类模型的建立通常需要大量的结构工程。此篇论文研究了一种在感兴趣的数据集上直接学习模型体系结构的方法.由于这种方法在数据集较大时开销较大，因此作者建议在小数据集上搜索架构构建块，然后将该块转移到更大的数据集。 这项工作的关键贡献是一个新的搜索空间(称之为“NASNet搜索空间”)的设计，它支持可转移性。实验中，在CIFAR-10数据集上搜索最佳的卷积层(或“单元”)...
Learning Transferable Architectures for Scalable Image Recognition论文简述
weixin_42638415的博客
03-19 3135
本文是谷歌在2018年提出的一篇神经网络结构最优搜索的论文 本文的核心思想是基于一篇Neural Architecture Search With Reinforcement Learning，的优化和改进。 我们知道在深度学习任务比如图像识别，图像分类中模型结构是非常关键的，比如VGG，ResNet，DenseNet等在网络结构的设计。但是，这种人为设计的结构就一定好么？不一定，因此希望能通过一个神经网络来按照一定策略学习得到最佳的网络结构。 首先，先简单说一说Neu...
《Learning Transferable Architectures for Scalable Image Recognition》论文阅读笔记
JR_Chan的博客
03-14 524
NASNet  这篇文章出自Google Brain，是对他们之前发表在ICLR2017的论文《Neural Architecture Search with Reinforcement Learning》的改进，而这篇文章则发表在了CVPR 2018。原文可见Learning Transferable Architectures for Scalable Image Recognition。 ...
【论文阅读】Learning Transferable Architectures for Scalable Image Recognition
最新发布
qq_44633016的博客
01-28 1689
Learning Transferable Architectures for Scalable Image Recognition是对NAS（也是Google Brain的）的改进
常见轻量级深度学习模型
Bill_zhang5的博客
01-11 5993
深度学习模型参数很多（模型很大）是制约深度学习模型部署在移动端一个很大的瓶颈，最近有不少轻量级的深度学习模型提出，以下是对一些经典轻量级深度学习模型的总结： 1、Squeezenet:Alexnet-level accuracy with 50x fewer parameters and¡ 1mb model size. arXiv preprint arXiv:1602.07360, 201
《Learning Transferable Architectures for Scalable Image Recognition》翻译
ShaneneD的博客
04-14 1766
原文：https://arxiv.org/abs/1707.07012Learning Transferable Architectures for Scalable Image RecognitionBarret ZophGoogle Brainbarretzoph@google.comAbstractDeveloping neural network image classification ...
learning transferable optimizers
12-23
学习可传递的优化器是指通过学习来构建一种能够适用于不同问题和领域的优化器。传统的优化算法通常需要对特定问题进行调优和适应，而学习可传递的优化器则可以通过学习来获取一种更加通用的优化策略，从而能够在不同的问题上表现良好。 学习可传递的优化器的优点包括可以减少对超参数的依赖性，减少调参的时间成本和提高优化器的性能。通过学习来构建优化器，可以使得优化器更加适应不同的数据和问题特性，从而提高了泛化性能。此外，学习可传递的优化器还可以通过迁移学习的方式，将在一个领域学习到的知识迁移到其他领域中，从而更好地适应不同的问题。 传统的优化算法通常需要手动调整多个超参数，而学习可传递的优化器可以通过学习来自动地调整这些超参数，从而减少了人工调参的成本。通过自动化地调参和构建更加通用的优化器，可以提高训练模型的效率和性能，从而对于大规模的数据和复杂的模型具有很大的意义。 总的来说，学习可传递的优化器是一种通过学习来构建的更加通用和适应性更广泛的优化器，它可以减少调参的成本，提高泛化性能，适应不同的问题和数据领域，从而对于优化算法和机器学习模型训练具有重要的意义。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值