飞桨博士会：40多位博士齐聚西二旗，共话AutoDL自动深度学习建模技术及应用

8月31日，第三期飞桨博士会线下沙龙于百度大厦举行。来自迁移学习、强化学习、对抗学习等深度学习研究方向的40余位博士聚集至西二旗，共话AutoDL自动深度学习建模技术。

飞桨博士会是百度开源深度学习平台飞桨（PaddlePaddle）发起的中国深度学习技术俱乐部，旨在打造深度学习核心开发者交流圈，助力会员拓展行业高端人脉、交流前沿技术。俱乐部成员均为博士及以上学历。目前飞桨博士会线下技术沙龙已成功举办三期。

 

本期技术沙龙的主讲嘉宾为百度大数据实验室主任浣军博士，主讲AutoDL自动深度学习建模技术和应用。浣军博士以“深度学习建模的现状和不足”话题切入，首先详细阐述新一代深度神经网络这一研究成果，包含三类关键技术、一项典型应用、一套创新理论和一项开源服务平台。

 

三类关键技术即：结构自组织、网络自训练、学习自适应。结构自组织是指自治模块化的深度神经网络模型，网络自训练则是指深度学习神经网络的自学习与自训练，而学习自适应则是指知识与模型嵌入的深度学习。同时，一项典型应用即为复杂环境下的多任务图像处理统一模型及系统，而一套创新理论即为深度神经网络的定量理论评价，一项开源服务平台即为自治模块化深度学习网络定制服务平台。

 

随后，浣军博士针对百度AutoDL进行详细解读。百度AutoDL包含AutoDL Design（网络结构自动化设计）、AutoDL Transfer（迁移小数据建模）、AutoDL Edge（适配边缘计算）三部分。

百度AutoDL网络结构自动化设计具备较为出色的搜索能力，近30层可灵活调整的神经网络、12层卷积操作，AutoDL Design网络结构自动化设计技术设计的图像分类网络在CIFAR10 数据集正确率达到98%。

 

深度卷积网络(CNNs) 总是过参数化的，过拟合是神经网络结构搜索里一个十分严重的问题，尤其是当开发者需要在指数级大小的搜索空间中搜结构时。

因此，正则化方法是预防过拟合问题的关键。当前AutoDL中采用许多正则化方法，例如：Mix-up， Shake-shake，并开发了基于Rademacher complexity 的正则化方法，且给出了其泛化效果的理论证明。

 

AutoDL Design完成了基于可微结构搜索， 在测试集合CIFAR 10 上测试，模型正确率98.01%， 超过Google、Microsoft同类研究，取得NAS（神经网络结构搜索，Neural Architecture Search）见于公开报道的最优结果。除了分类外，NAS可广泛用于目标检测、语义分割等任务。

 

AutoDL Transfer基于小数据进行建模，真实应用中的任务往往训练样本有限，迁移学习可有效的帮助其提升，在部分现实场景中使用Auto DL设计的模型精度高于基准线。同时，百度提出的自动化迁移学习算法DELTA，在迁移学习任务上效果超过SOTA，论文发表于ICLR 2019。技术应用于百度EasyDL，月调用量超过百万次。

 

AutoDL Edge使用StyleNAS图像风格迁移网络结构搜索和AGAN自动化生成对抗网络（GAN）结构搜索技术，在转换任务的样式效果和计算时间方面实现了最先进的性能。其中基于参数共享的压缩技术，可将不同模型大小压缩1.4倍-387倍。

当前，AutoDL也已应用于百度Feed业务中，使用Auto DL后有效提升数据资源配置的效率。

 

AutoDL简介：AutoDL包含网络结构自动化设计、迁移小数据建模、适配边缘计算三部分。已开源的AutoDL Design网络结构自动化设计技术设计的图像分类网络在CIFAR10 数据集正确率达到98%，居于业内领先位置。

AutoDL Design项目地址：

https://github.com/PaddlePaddle/AutoDL/tree/master/AutoDL%20Design

 

百度大数据实验室简介：百度大数据实验室于2014年成立，目前主要关注如何让没有大数据的企业和个人也能拥有大数据的模型，降低人工智能应用的门槛和成本。

 

当前，百度大数据实验室以AutoDL（Automatic Deep Learning）为中心，在多个相关方向开展研究，例如：神经网络搜索、迁移学习和元学习、图模型数据分析、数据增强、深度学习内部作用机制与可解释性探索、多模态数据理解。

 

答疑环节中，博士们围绕AutoDL结合自己的研究方向提问，内容既涉及迁移学习、GAN网络等技术原理细节，又扩展到医学影像、遥感影像等应用方向。现场的博士们踊跃提问，交流氛围热烈。

随后参会博士们进行自我介绍，加入飞桨博士会线上社群，通过交流扩展优质人脉，发现合作机会。

 

本次技术沙龙中新增分组交流环节，讨论主题为：人工智能应用中的瓶颈。具体到各方向的应用，人工智能技术仍然需要在数据处理、算法设计等方面进行提升。来自清华大学的博士阐述自己对AI行业的观察，并对深度学习框架飞桨PaddlePaddle易用性方面提出建议。与此同时，通过主持人的介绍，在场博士们对飞桨也留下较为深刻的印象。

 

最后，飞桨博士会为参与三期沙龙的博士们颁发飞桨博士会会员证书。同时，新一批博士会成员也收获了GPU算力礼包——每人500小时Tesla V100算力资源。

对AutoDL感兴趣的朋友们，可点击“阅读原文”，输入密码“ihai”即可获取主讲人当日分享内容的演示文稿。

 

目前，飞桨博士会技术沙龙每月举办一期，也欢迎更多的博士朋友加入飞桨博士会，扩展高端人脉，交流前沿技术。