深度学习框架如同智能时代的“发电机”,让人工智能技术更快速地普及到各行各业,推动融合创新,成为智能时代最重要的基础设施。PaddlePaddle作为目前国内唯一功能完备的深度学习框架,经过2018年的快速成长,初具模型领先、性能优越、易学易用的技术特色,以及工业场景下的领先优势。下面我们来盘点一下PaddlePaddle 2018年的成长之路。
一、核心发布
1、Paddle Fluid 1.0发布 —— 核心框架走向成熟
7月4日 Paddle Fluid V0.14.0发布——提供从数据预处理到模型部署在内的深度学习全流程的底层能力支持。官方首次开源CV/NLP/语音/强化学习等10个业界领先的模型。
10月12日 Paddle Fluid V1.0稳定版本发布——提供更稳定、向后兼容的API。易用性大幅提升。提供 Mac OS 下的多种安装方式,新增对Python3.5的支持。并开源8个CV、NLP 方向主流模型。
11月1日 Paddle Fluid V1.1发布——支持千亿规模稀疏参数大规模多机异步训练。移动端预测新增Mali GPU、Adreno GPU、FPGA等硬件支持。开源5个推荐领域模型,大幅优化CV、NLP模型的训练速度和显存占用。
12月8日 Paddle Fluid V1.2发布——CPU多机异步训练升级包括worker异步并发和IO、通信优化在内多项功能,整体吞吐大幅提升。支持python3.6及以上全版本。模型库新增图像分类任任务的预训练模型、语言模型任务新增基于cudnn的LSTM实现、分布式word2vec模型。
2、PaddlePaddle Suite - 技术全面领先的深度学习全功能套件
PaddlePaddle3.0升级为全面的深度学习开发套件,在核心框架基础上,开放VisualDL、PARL、AutoDL、EasyDL、AI Studio等一整套的深度学习工具组件和服务平台,满足不同层次的深度学习开发者的开发需求。具备强大支持工业级应用的能力,已经被中国企业广泛使用,并拥有活跃的开发者社区生态。
二、三大技术特色
1、深耕工业场景,打造官方支持模型最多的深度学习框架
基于百度多年的工业应用经验,以及百度生态伙伴的人工智能解决方案实践,PaddlePaddle为企业提供44个经过工业场景验证的官方模型,涵盖视觉、NLP、语音和推荐等AI核心技术领域,成为官方支持模型最多的深度学习框架。
基于PaddlePaddle开源多个百度国际竞赛获奖模型:
PyramidBox模型2018年3月在世界最权威的人脸检测公开评测集 WIDER FACE的三项评测子集Easy、Medium和Hard中均获得世界第一。
基于Faster R-CNN的多模型,在Google AI OpenImages-Object Detection Track比赛中,从全球450多支参赛队伍中脱颖而出,获得世界第一。
PaddlePaddle强化学习框架PARL获得NeurIPS 2018的强化学习赛事AI for Prosthetics Challenge竞赛冠军。
2、源于业务实践,输出业界最强的超大规模并行深度学习能力
基于百度海量规模的业务场景实践,PaddlePaddle同时支持稠密参数和稀疏参数场景的超大规模深度学习并行训练,支持千亿规模参数、数百个几点的高效并行训练,提供最为领先的深度学习并行技术。
3、追求极致性能,推出移动端高速推理引擎
Paddle Mobile提供深度学习落地嵌入式移动端平台的能力。针对ARM CPU、IOS GPU、Mali GPU、AdrenoGPU、FPGA、树莓派、RK339等多个硬件平台优化,性能高、体积小的优势。服务于包括手机百度、简单搜索在内的多款APP。在手机端实现单帧多目标检测耗时60ms以内,主要物体检测准确率和召回率均在95%以上。
三、 完善的服务平台和配套组件
1、基于PaddlePaddle的深度强化学习框架PARL发布,夺冠NeurIPS 2018
PARL深度强化学习框架,具有高可扩展性、可复现性和可复用性,强大的大规模并行化和稀疏特征的支持能力。覆盖DQN、DDQN、Dueling DQN、DDPG、PPO等主流强化学习算法。支持百亿级别数据或特征的训练,基于PARL可同时通过8块GPU拉动近20000个CPU节点运算。在NeurIPS 2018赛事中将需要近5个小时迭代一轮的PPO算法加速到不到1分钟,相对单机运算加速比高达几百倍。
2、让深度学习来设计深度学习,AutoDL2.0设计的网络超过人类专家
AutoDL 2018年正式发布V1.0、V2.0,包含网络结构自动化设计、迁移小数据建模、适配边缘计算三个部分,能够自动进行深度学习网络的设计、迁移、以及适配,批量化生产模型。在CIFAR 10数据集,Auto DL 2.0设计的图像分类网络正确率达到 98%,效果全面超过人类专家。
3、EasyDL零基础深度学习定制化训练和服务平台
EasyDL为零算法基础的开发者提供高精度AI模型定制服务。只需少量数据即可得到优质业务模型,快速验证应用场景。2018年,EasyDL从V3.0迭代升级至V5.0,逐步开放并完善定制图像识别、声音分类识别、文本分类识别等能力,累计超过2万个模型在零售、工业、医疗、安防等多个行业中落地应用。
4、AI Studio:一站式深度学习开发实训平台
AI Studio作为集合了AI教程、代码环境、算法算力和数据集的一站式实训平台,旨在帮助用户快速掌握深度学习开发技能。AI Studio底层预装PaddlePaddle框架及VisualDL等深度学习组件,大大提高开发者学习与开发的便捷性,混合调度CPU和GPU的资源,提升训练速度。 已有4万多位开发者聚集于此,一起创建模型、分享经验、参与比赛。2019年,AI Studio将进一步发力高校教育,搭建一站式深度学习教学管理平台,为高校开展深度学习教学提供极大便利。
四、黄埔学院 –革新者来
百度联合国家深度学习技术及应用国家工程实验室共同打造“黄埔学院”,我们秉承”服务于行业,服务于人才”的标准,项目组通过几个月的招募与筛选,日日夜夜的评估与努力,最终选出业内35位深度学习专家,共同见证黄埔学院第一期开学典礼——首席AI架构师的课堂。『经世致用,融会贯通,黄埔学院,革新者来』,这十六个字正代表了黄埔学院的治学理念以及愿景。我们希望技术不停留在实验室,不停留在研究院,而是能真正的走出去,为这个世界、这个时代创造实实在在的价值。
五、2019,未来可期
2019年,PaddlePaddle将继续以优化开发者体验、节约开发者时间为己任,巩固技术领先优势,深入企业场景,在应用落地的各个环节提供更便捷、更安全、更高效的深度学习技术服务。
继续降低深度学习技术的应用门槛,将超大规模并行深度学习、强化学习等业界领先的技术打造为人人可用的通用深度学习。
大力发展企业生态,通过应用场景深度对接,为企业提供快速咨询通道、企业内部培训、专项技术优化、联合开发支持的全方位服务。
持续扩大教育生态,通过百度产学合作协同育人项目、TechDay公开课、深度学习实战课、黄埔学院等行业顶级的技术交流活动,为开发者提供从深度学习入门到企业应用的一站式服务。