Senta中的语义表示模型ERNIE
知识增强的语义表示模型 ERNIE(Enhanced Representation through kNowledge IntEgration)通过对词、实体等语义单元的掩码,使得模型学习完整概念的语义表示。相较于 BERT 学习原始语言信号,ERNIE 直接对先验语义知识单元进行建模,增强了模型语义表示能力。在本次的百度Senta项目中,语义表示模型使用的就是ERNIE。
在本篇以及下一篇代码分析中,我将以ERINIE作为预训练模型进行Fine-tune,使用的数据集为ChnSentiCorp。来源:
https://github.com/PaddlePaddle/PaddleHub/wiki/PaddleHub-API:-Dataset
加载数据集
from paddle.fluid.framework import switch_main_program
import paddlehub as hub
import paddle.fluid as fluid
module