文心大模型技术开放日

在线蒸馏

跨模态模型


语义图模型

技术全景图，任务模型和领域模型

对话生成


多维度对话能力

画像知识

知识增强对话

百度语言技术平台

文心CV应用

应用

特点

视觉基础模型

基础模型见多识广

图文数据

图文向量

图文解耦

效果

视频文字

多任务对比学习

结果

测试

商品图文


业务应用


OCR



效果

自监督训练

CAE

语义特征

对比

芯算一体化，无需再次额外训练


大模型分布式训练

大模型的大

训练的难

数据并行

中心化和去中心化

大规模参数服务器

显存优化

模型并行

模型并行

混合并行

模型并行发展

挑战

端到端自适应分布式训练

集群差异性

端到端自适应架构

4D混合并行

参数切片

张量模型并行

通信优化

知识增强大模型

鹏城


大模型推理方案

对比

文心大模型在NLP的应用

应用

通用应用到场景化应用

问题

新方向

统一化场景

降本增效

开发套件》BML》easydl

架构设计

特点

只是增强大模型

多模态

特定领域的大模型


prompt

数据增强

主动学习

轻量化模型方案

模型蒸馏

模型裁剪

高性能部署

提升效率

高度集成

特点


各种全功能服务集成，可以直接用

应用场景

产业应用

风控系统

作文续写

解析和抽取，先分类，然后关键词核心要素抽取

文本检索

猎头系统

评分系统

合同对比

借贷合同信息抽取

产业智能化