预训练模型在金融 NLP场景下的应用

本文根据澜舟科技创始人兼CEO周明在「澜舟NLP分享会」上的演讲整理，介绍了大模型技术在金融NLP场景的应用，以及澜舟的实践。

---

近三年来，大规模预训练模型深入应用于金融场景中，大幅度地提升了业务系统的开发效率。本次报告将分享目前大模型技术在金融场景下的应用现状及未来发展趋势，并介绍澜舟团队基于孟子轻量化模型支持金融场景并通过SaaS输出各项标准 NLP 能力的技术进展。

大模型技术背景

我先谈谈大模型的一些背景。此前十余年人工智能在感知智能方面进展迅速。而在2017年谷歌提出了Transformer，随后预训练模型BERT提出，随后以2019年阅读理解超过人类水准为代表，NLP能力在各项任务上大幅度提升。

1. 认知智能崛起

我们今天看到的一个明显趋势是AI正由感知智能快速向认知智能迈进。AI正在从能听能说会看，这些都是感知智能的能力，走到能思考、能回答问题，做总结，能翻译，能创作（音乐、对联、诗歌、散文，写报告），走到决策和推理。这些都是认知智能的能力。认知智能的应用例子比比皆是。

图 1

在图 1 右侧可以看到其广泛的应用。例如，达到了接近人类水准的机器翻译已经在手机和桌面普遍使用，聊天机器人几乎可以通过图灵测试，搜索引擎得益于阅读理解以及预训练模型，搜索相关度大幅度提升，自动客服系统已经普及，知识图谱在金融等领域得到快速应用，都在推动产业发展。

从大数据，到建立信息检索，到建立知识图谱实现知识推理，到发现趋势形成观点和洞见。认知智能在大数据支持下，推动企业的业务数智化，正在深刻影响产业的发展。可以说NLP和认知智能代表了人工智能的未来发展。

2. 大规模预训练模型的新范式

在认知智能崛起过程中，预训练成为了认知智能的核心技术。2017年推出的Transformer，催生了BERT、GPT、T5等预训练模型。这些模型基于自监督学习（也就是不需要人工标注），利用大规模文本，比如互联网的浩瀚的数据，学习一个语言模型。利用语言模型对输入句子的每一个词在当前上下文的句法、语义和搭配有一定程度的理解。在此基础上，针对每一个NLP任务，用有限的标注数据进行微调。

这种迁移学习技术推动了NLP发展，各项任务都上了一个大台阶。更为重要的是，产生的预训练+微调技术，可以一套技术解决不同语言NLP、不同的NLP任务，有效地提升开发效率。原先NLP不同任务要用不同的模型，需要不同的技能人员，而且语言之间也不能互通。现在用预训练加微调，可以一套机制应对多有语言的所有任务，这标志着NLP进入到工业化实施阶段。

图 2

当前在预训练模型领域较为关注的研究重点包括：

• 如何训练超大规模参数的模型。各大公司推出越来越大的模型，千亿甚至万亿参数。对已有模型架构的创新性研究、更加有效的训练方法和训练加速的方法。

• 简化微调的步骤，比如像GPT-3那样用一套提示机制来简化下游任务的微调，推动零样本学习和小样本学习。

• 多模态预训练模型也引起关注。图文、文图、视频、code生成。最后就是推理的加速方法也是目前的研究焦点, 用硬件来实现加速训练也是重要方向。

金融 NLP 场景

1. 场景与应用举例

NLP在金融有很多应用，概括来讲有智能风控、智能投顾、智能投研、智能营销等等。无论哪一个场景，目前的技术水平，虽然可以用了，但是都还是面临很多挑战。

图3 NLP在金融领域的应用划分

金融行业主要包含银行、保险、券商、资管等三大类机构。每一类机构都有很多NLP的应用场景。这里我归纳如下（图 4）。

银行的NLP应用场景主要有，信贷辅助决策，公司债业务审核、智能客服、企业知识库建设等。每一个场景涉及到一系列的任务，比如信贷辅助决策，涉及到财务报告解析、公司舆情智能挖掘、信贷流水材料智能处理、公关行业景气度分析、风险事件传导分析。这些任务的背后涉及到一系列NLP技术，诸如信息抽取、OCR、表格解析、分类、情感、事件抽取和打标签、领域和专家知识等等。

保险的NLP应用场景主要有，包括智能合同审核、智能付款材料审核、智能工单处理等等。同样也涉及到一系列任务和NLP技术。

券商和资管的NLP应用场景