码隆科技WebVision2017冠军模型思想

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/qiusuoxiaozi/article/details/79605745

WebVision2017是一个半监督的任务,本文全部提取自码隆科技做的一个讲座

ImageNet和WebVision数据集的对比:
这里写图片描述
这里写图片描述
WebVision数据集:
这里写图片描述

第一个思想是:Data, model architecture, loss, training strategy都同等重要。
这里写图片描述
这里写图片描述

数据不均衡的问题,多的有10000+张,少的只有几百张:
这里写图片描述

主要的挑战在于noise label
这里写图片描述

对此,相关的工作:
这里写图片描述

码隆采用的方法——curriculum learning
这里写图片描述

最近一年内,DeepMind和OpenAI在curriculum learning方面的研究,还有李飞飞!

curriculum learning标准流程:
这里写图片描述

下面是OpenAI的一篇文章,用曲线形式表示出了task随着学习进程之间的关系
这里写图片描述

比较核心的部分是课程的设计,curriculum design:
这里写图片描述

下面详细说一下课程设计和课程学习(指的在设计好的课程之间迭代优化)
这里写图片描述

上图用到了Science上的一篇聚类的文章《Clustering by fast search and find of density peaks》

下面两幅图是聚类的效果(横坐标越往右,数据簇越干净,反之越往左,越多noise label)
这里写图片描述
这里写图片描述

课程学习的训练流程
这里写图片描述

不同训练方式的实验对比
这里写图片描述

Data balance
这里写图片描述

上图中的class data balance只对subset 1做了,他们尝试对3个subsets都做,但是效果并不好。
这里写图片描述

loss曲线对比
这里写图片描述

noise data用的好的话,比不用对于模型的效果要更好!(关键在于如何利用noise data来提高模型的泛化能力!)
这里写图片描述

主要获得提升的类别:
这里写图片描述

主要获得衰减的类比:
这里写图片描述

最后的比赛结果(5%左右的error,在没有任何标注信息的情况下,达到了近似人的错误率):
这里写图片描述

总结:
这里写图片描述

展开阅读全文

没有更多推荐了,返回首页