2019，那些属于飞桨的重要时刻

2019已经悄然落幕，在过去一年中，飞桨加速崛起，在产品性能上高效迭代，并屡次斩获多项大奖，其取得的成绩有目共睹，这也意味着飞桨正领衔中国深度学习框架迎来高光时刻。现在，让我们一起来回顾一下2019关于飞桨的那些重要记忆。

01

核心发布

一、版本迭代

2019年，飞桨一共进行了4次大版本迭代，同时还推出了语义理解框架ERNIE，产品体验大幅提升，核心技术显著增强。

 

• V1.3

 

3月，飞桨统一Executor和ParallelExecutor接口，正式发布AnalysisConfig 预测接口，支持计算图分析、算子融合等优化；模型库新增发布飞桨视频模型库，提供5个视频分类经典模型以及适合视频分类任务的通用骨架代码；新增支持NLP语义表示BERT模型，支持多机多卡训练，支持混合精度训练，训练速度对比主流实现提升50%+；发布大规模稀疏参数服务器Benchmark。

 

• V1.4

 

4月，飞桨正式发布模型压缩工具包PaddleSlim和模型预测服务Paddle Serving，全面提升飞桨部署能力。正式发布视频分类工具包，覆盖主流视频分类模型；正式发布PaddleNLP，工业级中文NLP工具与预训练模型集。正式发布PaddleHub预训练模型管理工具，提供包括预训练模型管理、命令行一键式使用和迁移学习三大功能。发布业界领先的超大规模并行能力，包括大规模稀疏参数服务器解决方案、工业级数据处理、带宽不敏感训练能力等。

 

• V1.5

 

7月，飞桨正式发布动态图Preview版并提供 7个模型动态图版本官方实现。PaddleHub共提供40+预训练模型，覆盖文本、图像、视频三大领域八类模型，并全面提升易用性，发布PaddleHub官网。模型压缩框架PaddleSlim新增基于模拟退火的自动剪切策略和轻量级模型结构自动搜索功能（Light-NAS）。官方模型库正式发布PaddleDetection物体检测统一框架、图像生成库；升级视频识别与定位工具集；发布PaddleNLP-Research，包含百度在 NLP 领域近期研究工作。

 

• V1.6

 

11月，飞桨在训练框架进一步优化了速度，完善了显存优化机制，并支持在框架外部自定义C++/CUDA OP。分布式训练新增LocalSGD、GEO-SGD等策略，大规模同步训练、异步训练速度继续提升，并支持K8S +Volcano任务提交。服务器端预测库增加C API，并支持版本兼容检查。发布Paddle Lite 2.0，定位高性能、多平台、轻量化的端侧预测引擎，并可作为服务器端预测库的加速库。PaddleServing新增超大规模分布式预估服务能力。

 

PaddleSlim强化了量化训练功能，增加了基于硬件的小模型搜索功能。发布全新seq2seq相关API和文本生成模型样例。语义表示库新增XLNet预训练模型；开源EMNLP2019阅读理解竞赛冠军模型D-NET，同时支持18个不同抽取式阅读理解数据集打榜。发布飞桨多任务学习库PALM （PAddLe Multi-task learning），更便捷支持多任务机器学习调研。发布训练部署端到端的图像分割库PaddleSeg。图像分类新增EfficientNet等43个预训练模型。

 

PaddleDetection新增2019 Objects365 Full Track冠军模型、BlazeFace等人脸检测小模型，行人检测和车辆检测的预训练模型。PaddleVideo新增ActivityNet Challenge 2019夺冠模型，扩展包含videocaption、video grounding等模型。发布PaddleSpeech，包含语音识别模型DeepSpeech和语音合成模型 DeepVoice3。PaddleHub新增超参优化Auto Fine-tune功能，并全面提升Fine-tune功能的灵活性和易用性，预训练模型数量大幅增加。

 

飞桨图学习框架PGL正式版发布，飞桨深度强化学习框架PARL并行能力进一步提升，支持进化算法。Paddle2ONNX和X2Paddle全面升级，飞桨和其他框架的模型互转更加方便。并发布飞桨联邦学习框架PaddleFL。

 

GitHub项目地址：

https://github.com/PaddlePaddle/Paddle

 

• ERNIE

 

2019年3月15日，百度发布持续学习语义理解框架ERNIE 1.0，并发布了基于飞桨的开源代码与模型，在语言推断、语义相似度、命名实体识别、情感分析、问答匹配等自然语言处理（NLP）各类中文任务上的验证显示，模型效果全面超越 BERT。

 

7月底，ERNIE再度升级，发布v2.0，及基于此框架的 ERNIE 2.0预训练模型。继1.0后，ERNIE 英文任务方面取得全新突破，在共计16个中英文任务上超越了 BERT 和XLNet， 取得了 SOTA 效果。

 

GitHub 项目地址：

https://github.com/PaddlePaddle/ERNIE

 

二、全新发布四大产业应用开发套件，创新Master模式

2019年11月5日，在“WAVESUMMIT+”2019深度学习开发者秋季峰会上，飞桨全新发布和重要升级21个产品方向，包括面向产业应用场景的四大端到端开发套件、融合数据和知识的预训练结合迁移学习的飞桨Master模式、端侧推理引擎Paddle Lite 2.0、EasyDL专业版、前沿技术工具组件等。

 

百度公司副总裁、深度学习技术及应用国家工程实验室副主任吴甜表示飞桨将持续发展超大规模分布式计算、异构计算能力，定位于全硬件平台支持、端云边结合，为应用场景提供面向场景的端到端套件，构建融合数据和知识的预训练结合迁移学习的Master模式，为开发者提供最强大的生产平台和基础设施，加速产业智能化。

 

详情请查看：

https://mp.weixin.qq.com/s/9ojR3XR2F4IjYxSl_GL6tA

 

三、百度飞桨推出亿元算力支持计划

 

2019年4月23日，在首届WAVE SUMMIT 2019深度学习开发者峰会上，百度宣布一站式开发平台 AI Studio 重磅推出算力支持计划，提供总价值1亿元的免费算力，助力开发者成功。

 

免费算力主要以两种模式提供，第一种是一人一卡模式，V100 的训练卡包括16 G 的显存，最高2 T 的存储空间。另外一种是远程集群模式，飞桨提供高性能集群，供开发者免费使用。

 

四、百度飞桨+华为麒麟，两大AI“国货之光”强强联手

2019年7月3日，在“BaiduCreate 2019”百度 AI开发者大会上，百度首席技术官王海峰与华为消费者BG软件总裁王成录共同宣布，百度飞桨深度学习平台与华为麒麟芯片强强联手，双方将打通深度学习框架与芯片，为AI时代打造最强算力和最流畅的应用体验。

 

据悉，此次合作，将充分发挥飞桨和麒麟各自在软、硬件上的优势，实现强强联合。双方的合作内容包括三大方面：

• 百度飞桨将与华为麒麟芯片在HiAI Foundation底层全面对接，最大限度释放芯片硬件能力，为端侧AI提供最强劲的算力；

• 第二，双方将共同优化经典模型，让搭载麒麟芯片的设备运行得更加流畅，为用户提供绝佳的体验；

• 第三，通过深度学习框架的性能和功能诉求，驱使芯片不断提升算力，驱使下一代芯片的快速演进。

02

荣耀时刻

 

一、飞桨强势助攻夺冠MRQA2019，斩获十项第一

 

2019年8月12日，MRQA 2019阅读理解国际评测落下帷幕。得益于自研开源深度学习平台飞桨的强势助攻，百度以平均 F1 值72.55%，超出第二名近两个百分点的绝对优势获得冠军。同时，在全部12个测试数据集中的10个上均排名第一。

详情请查看：

https://mp.weixin.qq.com/s/6OxqGQzlBKNXw8ZsU6aTAw

 

二、百度飞桨入选2019“世界互联网大会领先科技成果”

 

2019年10月20日，在第六届世界互联网大会上，百度飞桨深度学习平台入选“世界互联网领先科技成果”，这是继百度大脑、小度助手（DuerOS）、Apollo之后，百度在乌镇世界互联网大会第四次获此荣誉，展现了百度在AI领域的技术及产业领域的全球影响力。

 

详情请查看：

https://mp.weixin.qq.com/s/E9kEf7Fthe87atsOZfXeYA

三、百度PARL再度夺冠NeurIPS仿生人挑战赛

 

2019年12月8日-14日于加拿大温哥华举办的机器学习领域顶级会议NeurIPS 2019上，百度拿下强化学习赛事冠军，这是百度继 2018 年夺得冠军后再度蝉联冠军。本次比赛的难度非常大，在参赛的近 300 支队伍中，仅有 3 支队伍完成了最后挑战。

 

在颁奖典礼现场，百度技术团队分享了此次能够获得冠军的关键3点：高性能的并行框架PARL、课程学习机制以及提升模型鲁棒性的新算法。基于飞桨的强化学习框架 PARL 不仅成功完成挑战，还大幅领先第二名 143 分。由此可见，百度在强化学习领域占据了明显的优势，冠军含金量颇高。

 

PARL项目地址：

https://github.com/PaddlePaddle/PARL

 

四、百度预训练模型ERNIE登顶GLUE榜单

 

12月10日，预训练模型界的“MVP”百度ERNIE再展锋芒，在自然语言处理领域权威数据集GLUE中荣登榜首，并以9个任务平均得分首次突破90大关刷新该榜单历史，超越微软MT-DNN-SMART、谷歌T5、ALBERT等一众国际顶级预训练模型的表现，实力得到极大彰显。

 

ERNIE此次登顶，成为首个突破90大关的模型，并在CoLA、SST-2、QQP、WNLI等数据集上达到SOTA。相对BERT的80.5的成绩，提升近10个点，取得了显著的效果突破。

五、飞桨总架构师于佃海获2019 “CCF杰出工程师奖”

12月25日，中国计算机学会在官微上宣布授予百度公司深度学习平台飞桨总架构师于佃海2019“CCF杰出工程师奖”，并于2020年1月11日在北京举行了颁奖典礼。“CCF杰出工程师奖”设立于2016年，每年评选一次，每次获奖人数不超过两名，授予在计算机工程技术及应用领域有突出成就和重要贡献者。于佃海获此殊荣，彰显着对他本人为 AI 领域贡献的认可，也让业界对他所致力的百度开源开放平台飞桨有了更深刻的认知。

 

03

开发者生态

 

2019年，百度飞桨在开发者生态建设中持续发力，提供了很多福利，如免费开放AI课程，为高校提供教育与教学支持，培养企业人才，推出百万奖金级AI比赛，开放亿元算力资源等，为深度学习开发者提供学习和交流的平台，引领AI技术创新，共创AI生态。

• 黄埔学院

百度联合国家深度学习技术及应用国家工程实验室共同打造的“黄埔学院”，面向企业技术决策者，提供为期半年的深度学习技术硬核培训。自2019年1月开设以来，经过一年两期集中培训研修，系统讲解深度学习领域的实践技术及经验，共为通信、医疗、金融、工业等十余个行业，合计输送了70+位“首席AI架构师”。身为中国人工智能领域的“头雁”，百度对AI人才培养的重视程度可见一斑。这股实力强劲的AI“中坚力量”将加快各行业产业智能化进程。

 

• AI快车道

 

2019年，百度AI快车道在北京、深圳、上海、南京、成都等城市，举办超过20场活动，覆盖OCR、精密仪器质检、推荐排序经典场景、遥感图像处理等技术领域，为1000+有技术需求企业的算法工程师、架构师群体提供源于百度业务实践的深度学习平台飞桨的性能优势、模型优势、生态优势的解读，百度自研和顶级学术会议魁首算法、预训练模型的详细介绍，还有与案例和算法紧密相扣的在线实验，以及“学来即用”的课程，帮助企业开发者进行业务问题定位、框架及算法的快速应用。

 

• 深度学习师资培训班

 

在教育部指导下，百度飞桨与全国重点高校联合打造的深度学习师资培养计划，通过理论讲解和实践操作让教师快速掌握深度学习教学方法和平台，并为此提供丰富的教学材料及配套实验资源，助力教师开设深度学习课程和实践项目、开展深度学习工程与科研项目。

 

2019年期间，百度飞桨在北京、大连、德清、西安、长沙、成都联合重大高校共举办了6期深度学习师资培训，开设了9个班级，共培训超过700名教师。截止至2019年12月，百度飞桨已累计开办9期师资培训班，培养了1000+名老师，助力高校AI专业教师培养。

 

• 飞桨博士会

飞桨博士会是由百度开源深度学习平台飞桨发起的中国深度学习技术俱乐部，旨在打造深度学习核心开发者交流圈，助力会员拓展行业高端人脉、交流前沿技术。俱乐部为会员制，成员皆为博士生导师或博士，且具备深度学习多年研究和实践经验。

 

2019年，飞桨博士会一共开办了6期，主题内容涵盖CV、NLP等方向，目前已有超过100+深度学习领域的博士加入。

 

• 人工智能竞赛

 

2019年，飞桨基于一站式AI开发实训平台AI Studio，面向掌握不同深度学习能力的开发者，全年举办巅峰赛、挑战赛、常规赛和练习赛等20+场比赛，“以赛促用”的方式助力各阶段深度学习开发者快速成长，成为飞桨的重要推广力量。

详情请查看：

https://aistudio.baidu.com/aistudio/competition

04

2020，未来可期

2020年，飞桨团队将持续优化产品特性，用高性能与易用性吸引更多的开发者，使飞桨生态规模不断壮大，继续为工业、农业、服务业等行业服务，成为支撑各行各业技术创新和智能化转型的基础底座，并通过多渠道立体化的培养机制提升行业的整体人才储备，成为推动中国产业智能化的中坚力量。2020，让我们拭目以待！