ELMO:采用Feature Ensemble
输入句子 输入到ELMO预训练好的双层bi-LSTM
embedding 动态调整以适应下游任务(作为下游任务的输入)
侧重于单词的上下文特征表达
GPT和BERT使用Fine-tuning
用手头任务的部分训练数据,直接在预训练模型上训练,修正模型的参数
下游任务使用预训练模型的两种模式:特征集成FeatureEnsemble和微调Fine-tuning
最新推荐文章于 2024-03-02 11:47:14 发布
ELMO:采用Feature Ensemble
输入句子 输入到ELMO预训练好的双层bi-LSTM
embedding 动态调整以适应下游任务(作为下游任务的输入)
侧重于单词的上下文特征表达
GPT和BERT使用Fine-tuning
用手头任务的部分训练数据,直接在预训练模型上训练,修正模型的参数