实践：用大模型开发一款智能应用丨“悟道之巅”公开课实录（3）

扫描图上二维码或点击原文文末“阅读原文”即可参赛！

如果你错过了上一波深度学习引发的NLP范式转换，不要再错过这一波超大预训练模型的崛起。

近日，“悟道”核心团队推出首档公开课，公开课已全部上线，手把手帮助中国开发者理解并应用“悟道”，从而进一步挖掘“悟道”的潜力，开发自己的智能应用。

通过“悟道”公开课，开发者们将与预训练模型这一人工智能领域最重要的趋势保持同步，更有125万+“悟道之巅”比赛奖金可以拿（比赛官网）。

第一讲视频点此观看
第二讲视频点此观看
第三讲视频点此观看
第四讲视频点此观看
第五讲视频点此观看

本次课程可以看做是面向所有人的大规模预训练模型（下文简称“大模型”）科普课，从大模型与传统机器学习模型的区别、机器学习范式的变化和 GPT-3 讲起，进一步介绍悟道模型及主要技术、悟道之巅大赛参与方式以及悟道 API 使用说明等等。

本文为系列公开课第三讲干货整理，主讲人为智谱AI 的后端工程师陕杰才，分享提纲如下图所示：
第一讲干货见：一文入门大规模预训练语言模型丨“悟道之巅”公开课干货（1）；
第二讲干货见：入门大模型后，如何优化其输出结果？丨“悟道之巅”公开课干货（2）

一、应用介绍

首先，这个 demo 应用的界面比较简单，即一问一答的形式，这个应用是基于文本生成的接口，并结合了 inverse prompting 和 beam search 的 trick，完成的问答应用。
该应用是基于悟道大模型 transformer-xl 的生成能力改造的问答应用，从生成单句的api到准确回答问题，Transformers 具有长期学习依赖的能力，但是，在语言建模设置中，受到固定长度上下文的限制，而 Transformers-XL 作为一 种新神经网络架构，采用了相对位置编码和片段递归的思想，在很大程度上，可以解决长文本依赖的问题。因此，transformer-xl 也可用于新闻生成、智能写作，还有作诗作词等。
上图即线上应用的展示，该图中，线上的问题默认的是：请问男朋友买鸭脖自己全吃的没给我，应该分手吗？后文也会引用到这个例子，应用网址点此进入，各位有兴趣可以体验一下。