- 博客(18)
- 收藏
- 关注
RSS订阅原创 AutoML论文笔记（十六）Neural Architecture Search without Training
文章题目：Neural Architecture Search without Training链接：link https://arxiv.org/pdf/2006.04647论文内容论文阅读笔记，帮助记忆的同时，方便和大家讨论。因能力有限，可能有些地方理解的不到位，如有谬误，请及时指正。 常规的NAS在训练和单个结构验证的过程都非常耗时，动辄几百上千个GPU小时。本文在富含各种网络结构的数据集NAS-Bench-201中，根据相关性频谱得到最终的验证精度和网络结构的训练无关，因此提出了一个全新的
2020-06-16 22:01:52
1566
1
原创 AutoML论文笔记（十五）Neural Architecture Search for Gliomas Segmentation on Multimodal Magnetic Resonance I
文章题目：Neural Architecture Search for Gliomas Segmentation on Multimodal Magnetic Resonance Imaging链接：link https://arxiv.org/pdf/2005.06338论文内容论文阅读笔记，帮助记忆的同时，方便和大家讨论。因能力有限，可能有些地方理解的不到位，如有谬误，请及时指正。 近年来，随着深度学习的发展，医学影像和AI的结合也在飞速进步。胶质瘤作为脑部的常见疾病，MRI是其通用的诊断途径
2020-06-15 21:47:17
394
原创 AutoML论文笔记（十二）Search to Distill: Pearls are Everywhere but not the Eyes：千里马常有，而伯乐不常有
文章题目：Search to Distill: Pearls are Everywhere but not the Eyes链接：link https://arxiv.org/pdf/1911.09074会议期刊：CVPR 2020论文内容论文阅读笔记，帮助记忆的同时，方便和大家讨论。因能力有限，可能有些地方理解的不到位，如有谬误，请及时指正。 蒸馏学习和NAS结合，对于被视作掌上明珠的学生，不仅能从老师那儿学到网络参数，还能学到网络结构。 传统的distilling都是固定teacher结构
2020-06-12 22:14:25
860
原创 AutoML论文笔记（十四）Automatic Data Augmentation via Deep Reinforcement Learning for Effective Kidney Tumor
文章题目：Automatic Data Augmentation via Deep Reinforcement Learning for Effective Kidney Tumor Segmentation链接：link https://arxiv.org/abs/2002.09703论文内容论文阅读笔记，帮助记忆的同时，方便和大家讨论。因能力有限，可能有些地方理解的不到位，如有谬误，请及时指正。 在医学图像分割中，传统的数据增强通常是借鉴人的经验来做，这种方式不仅泛化能力差，而且有时候甚至起到
2020-06-10 21:17:04
658
1
原创 AutoML论文笔记（十三）Self-Adaptive 2D-3D Ensemble of Fully Convolutional Networks for Medical Image Segment
文章题目：Self-Adaptive 2D-3D Ensemble of Fully Convolutional Networks for Medical Image Segmentation链接：link https://arxiv.org/ftp/arxiv/papers/1907/1907.11587.pdf会议期刊：Neural Networks论文内容论文阅读笔记，帮助记忆的同时，方便和大家讨论。因能力有限，可能有些地方理解的不到位，如有谬误，请及时指正。 随着深度学习的演变，医学图像
2020-06-10 20:50:02
269
原创 AutoML论文笔记（十一）Adversarial AutoAugment：对抗性自动数据增强
文章题目：Adversarial AutoAugment链接：link https://arxiv.org/abs/1912.11188会议期刊：ICLR 2020论文内容论文阅读笔记，帮助记忆的同时，方便和大家讨论。因能力有限，可能有些地方理解的不到位，如有谬误，请及时指正。 人类设计的数据增强需要很多领域的专家知识，不同领域不能迁移；而AutoAugment对算力要求太高，代理任务和目标任务之间有比较大的维度鸿沟。本文利用GAN的思想做数据增强，在ImageNet数据集上比AutoAugm
2020-05-26 22:36:25
1118
原创 AutoML论文笔记（十）Towards Oracle Knowledge Distillation with Neural Architecture Search：基于知识蒸馏的神经网络搜索
文章题目：Towards Oracle Knowledge Distillation with Neural Architecture Search链接：link https://arxiv.org/pdf/1911.13019会议期刊：AAAI 2020论文阅读笔记，帮助记忆的同时，方便和大家讨论。因能力有限，可能有些地方理解的不到位，如有谬误，请及时指正。论文内容本文提出一种新的知识蒸馏的框架：集成老师模型来学习高效的学生模型，在蒸馏的过程中减少老师与学生的容差，来最大限度的传授知识。NAS
2020-05-26 21:51:53
597
原创 AutoML论文笔记（九）CARS Continuous Evolution for Efficient Neural Architecture Search：连续进化神经网络搜索
文章题目：CARS: Continuous Evolution for Efficient Neural Architecture Search##### 链接：link https://arxiv.org/abs/1909.04977会议期刊：CVPR 2020论文阅读笔记，帮助记忆的同时，方便和大家讨论。因能力有限，可能有些地方理解的不到位，如有谬误，请及时指正。论文内容...
2020-05-20 22:12:48
766
原创 知识蒸馏 论文笔记（一）Search for Better Students to Learn Distilled Knowledge：搜索更优秀的学生
文章题目：Search for Better Students to Learn Distilled Knowledge链接：link https://arxiv.org/abs/2001.11612论文阅读笔记，帮助记忆的同时，方便和大家讨论。因能力有限，可能有些地方理解的不到位，如有谬误，请及时指正。论文内容尽管近年来深度学习取得了显著的成功，但是DNN庞大的参数量限制了其在端侧的使用。因为关于网络压缩的需求应运而生，降低参数的方法有很多，例如参数量化、低秩优化、模型剪枝和知识蒸馏。其中知识蒸
2020-05-19 21:44:15
579
原创 AutoML论文笔记（八）Deep Multimodal Neural Architecture Search：多模态神经网络搜索
文章题目：Deep Multimodal Neural Architecture Search链接：link https://arxiv.org/abs/2004.12070会议期刊：ICCV 2020论文阅读笔记，帮助记忆的同时，方便和大家讨论。因能力有限，可能有些地方理解的不到位，如有谬误，请及时指正。论文内容多模态学习包括问答系统、图文匹配和文字描述。传统的技术途径要么是固定网络学习，要么是在不同领域搜索各自的网络结构，互补干涉。本文构建了一个通用的框架MMnas，囊括以上三大领域，自适应
2020-05-18 22:16:18
2103
原创 AutoML论文笔记（七）Blockwisely Supervised NAS with Knowledge Distillation：基于蒸馏学习的区块自适应NAS算法
文章题目：Blockwisely Supervised Neural Architecture Search with Knowledge Distillation链接：link https://arxiv.org/abs/1911.13053会议期刊：CVPR 2020论文阅读笔记，帮助记忆的同时，方便和大家讨论。因能力有限，可能有些地方理解的不到位，如有谬误，请及时指正。论文内容...
2020-05-07 21:17:52
1073
原创 AutoML论文笔记（六）Search for Better Students to Learn Distilled Knowledge：通过蒸馏学习搜索更好的子网络
文章题目：Search for Better Students to Learn Distilled Knowledge链接：link https://arxiv.org/abs/2001.11612会议期刊：无论文阅读笔记，帮助记忆的同时，方便和大家讨论。因能力有限，可能有些地方理解的不到位，如有谬误，请及时指正。论文内容通常神经网络参数量都很大，这一特性使得端侧设备很难享受神经网络...
2020-04-28 21:59:45
384
原创 AutoML论文笔记（五）NAS for wildlife identification：用于野生动物识别的NAS算法
文章题目：Neural architecture search based on model pool for wildlife identification链接：link https://www.sciencedirect.com/science/article/abs/pii/S092523122030388X会议期刊：Neurocomputing论文阅读笔记，帮助记忆的同时，方便和大...
2020-04-28 21:18:21
422
原创 AutoML论文笔记（四）SGAS Sequential Greedy Architecture Searc：连续贪婪神经网络搜索
文章题目：SGAS: Sequential Greedy Architecture Search链接：link https://arxiv.org/abs/1912.00195会议期刊：CVPR 2020论文阅读笔记，帮助记忆的同时，方便和大家讨论。因能力有限，可能有些地方理解的不到位，如有谬误，请及时指正。小知识在统计学中，肯德尔相关系数是以Maurice Kendall命名的，并经...
2020-04-26 22:58:34
955
原创 AutoML论文笔记（三）Semi-Supervised Neural Architecture Search：基于半监督学习的神经网络架构搜索
文章题目：Semi-Supervised Neural Architecture Search链接：link https://arxiv.org/abs/2002.10389会议期刊：CVPR 2020论文阅读笔记，帮助记忆的同时，方便和大家讨论。因能力有限，可能有些地方理解的不到位，如有谬误，请及时指正。论文内容亮点和收获...
2020-04-26 21:32:03
986
原创 AutoML端侧算法性能对比：NAS搜索出端侧大小的模型在Imagenet的表现
近年来AutoML突飞猛进，学术界和产业界产品繁多。AutoML包括但不限于自动数据增强，自动网络结构搜索，自动超参搜索和自动优化器。 虽然NAS算法多种多样，但是从方法上可归为三大阵营：基于强化学习算法、基于进化算法和基于梯度的算法。由于NAS往往对算力要求比较高，动辄就是成百上千的GPU小时的训练，所以涌现了一些加速方案，例如权重共享，训练一个大的SuperNet，One-shot等等。 ...
2020-04-22 21:56:41
491
原创 AutoML论文笔记（二） FedNAS Federated Deep Learning via Neural Architecture Search：基于神经网络搜索的联邦学习
文章题目：FedNAS: Federated Deep Learning via Neural Architecture Search链接：link https://chaoyanghe.com/publications/FedNAS-CVPR2020-NAS.pdf会议期刊：CVPR 2020 workshop论文阅读笔记，帮助记忆的同时，方便和大家讨论。因能力有限，可能有些地方理解的...
2020-04-21 23:13:27
2375
原创 AutoML论文笔记（一） MiLeNAS Efficient NAS via Mixed-Level Reformulation:通过混合重组实现高效神经网络架构搜索
文章题目：MiLeNAS: Efficient Neural Architecture Search via Mixed-Level Reformulation链接：link https://arxiv.org/abs/2003.12238会议期刊：CVPR 2020论文阅读笔记，帮助记忆的同时，方便和大家讨论。因能力有限，可能有些地方理解的不到位，如有谬误，请及时指正。论文内容随着...
2020-04-20 23:30:34
1346
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人