2021SC@SDUSC-山东大学软件工程与实践-Senta(2)

Senta中的语义表示模型ERNIE

知识增强的语义表示模型 ERNIE（Enhanced Representation through kNowledge IntEgration）通过对词、实体等语义单元的掩码，使得模型学习完整概念的语义表示。相较于 BERT 学习原始语言信号，ERNIE 直接对先验语义知识单元进行建模，增强了模型语义表示能力。在本次的百度Senta项目中，语义表示模型使用的就是ERNIE。

在本篇以及下一篇代码分析中，我将以ERINIE作为预训练模型进行Fine-tune,使用的数据集为ChnSentiCorp。来源：
https://github.com/PaddlePaddle/PaddleHub/wiki/PaddleHub-API:-Dataset

加载数据集

from paddle.fluid.framework import switch_main_program
import paddlehub as hub
import paddle.fluid as fluid
module