干货！针对动态变化数据的模型结构自动调整

点击蓝字

关注我们

AI TIME 欢迎每一位AI爱好者的加入！

在实际应用中，数据通常以不断增长的方式出现，其中数据量和类的数量可能会动态增加。这将给学习带来一个严峻的挑战：鉴于不断增加的数据量或类的数量，必须立即调整神经模型的能力，以获得有希望的性能。现有的方法要么忽略数据的增长性质，要么寻求为给定数据集独立搜索最佳体系结构，因此无法针对变化的数据及时调整体系结构。为了解决这一问题，我们提出了一种神经结构自适应方法，即Adaptation eXpert（AdaXpert），以有效地调整增长数据上以前的结构。具体来说，我们引入了一个体系结构调整器，根据以前的体系结构以及当前和以前的数据分布之间的不同程度，为每个数据快照生成合适的体系结构。此外，我们提出了一个适应条件，以确定调整的必要性，从而避免不必要和耗时的调整。在两种增长场景（增加数据量和类数）上的大量实验证明了该方法的有效性。

本期AI TIME PhD直播间我们邀请到华南理工大学软件学院博士生——牛帅程，为我们带来报告分享《深度描述聚类》。

牛帅程：

自2018年9月开始在华南理工大学软件学院攻读博士学位。导师为谭明奎教授，以及腾讯AI Lab的吴家祥和赵沛霖研究员。主要研究方向为神经网络结构搜索和迁移学习，并在相关领域会议和期刊发表论文多篇，包括ICML, CVPR, IJCAI,TIP, TKDE等。

01

 背   景 

数十亿的移动电话、监控摄像头和医疗成像设备每天都在继续收集新的数据，使得数据量和类的数量随着时间动态增加，那么如何将深度神经网络（DNN）应用到这种动态变化的数据场景呢？

首先，数据的动态变化对网络模型大小地选择带来了挑战