FinBert模型：金融领域的预训练模型

FinBERT是熵简科技 AI Lab 开源的基于 BERT 架构的金融领域预训练语言模型，相比于Google发布的原生中文BERT、哈工大讯飞实验室开源的BERT-wwm 以及 RoBERTa-wwm-ext该模型在多个金融领域的下游任务中获得了显著的性能提升，在不加任何额外调整的情况下，F1-score 直接提升至少 2~5.7 个百分点。

论文地址：FinBERT: A Pre-trained Financial Language Representation Model for Financial Text Mining
github地址：https://github.com/valuesimplex/FinBERT
FinBERT-Base模型下载地址：FinBERT_L-12_H-768_A-12_pytorch.zip

论文的主要贡献：

一，FinBERT (BERT for Financial Text Mining)是第一个通过在金融语料上使用多任务学习得到的特定领域的BERT，其可以把金融领域语料上的知识传递到下游金融文本相关的应用任务上；

二，FinBERT和标准BERT采用不同的训练目标函数。本文设计或采用了6中自监督预训练任务，可以通过多任务自监督学习方法来训练，从而更有效地捕捉大规模预训练语料中的语言知识和语义信息；

三，在几个金融领域的基准集上执行了若干实验。实验结果展示，FinBERT可以显著超越sota的效果：金融句子边界检测；金融情感分析；以及金融问答；

四，使用Horovod框架实现了FinBERT，以及使用了混合精度。（目前还没有）公开代码或者预训练的模型。FinBERT可以被用于其他很多下游的金融文本挖掘任务，提升整体性能。

FinBERT的优势

模型及预训练方式

模型结构

熵简 FinBERT 在网络结构上采用与 Google 发布的原生BERT 相同的架构，包含了 FinBERT-Base 和 FinBERT-Large 两个版本，其中前者采用了 12 层 Transformer 结构，后者采用了 24 层 Transformer 结构。考虑到在实际使用中的便利性和普遍性，本次发布的模型是 FinBERT-Base 版本。

训练语料

FinBERT 1.0 所采用的预训练语料主要包含三大类金融领域的语料，分别如下：

• 金融财经类新闻： 从公开渠道采集的最近十年的金融财经类新闻资讯，约 100 万篇；
• 研报/上市公司公告： 从公开渠道收集的各类研报和公司公告，来自 500 多家境内外研究机构，涉及 9000 家上市公司，包含 150 多种不同类型的研报，共约 200 万篇；
• 金融类百科词条： 从 Wiki 等渠道收集的金融类中文百科词条，约 100 万条。

对于上述三类语料，在金融业务专家的指导下，我们对于各类语料的重要部分进行筛选、预处理之后得到最终用于模型训练的语料，共包含 30亿 Tokens，这一数量超过了原生中文BERT的训练规模。

预训练方式