观看网址:https://www.yanxishe.com/events/ccf-nlp-zzu
(一)分享主题:预训练模型在多语言、多模态任务的进展——周明
pre-trained model:A new paradigm of NLP
大规模语料库(Large-scale Corpus)训练一个通用的预训练模型,这是属于上游任务。针对不同的工作,模型借助标注数据再discirminative(判别式)训练出新的模型符合具体业务需求,属于微调(Fine-tuning)。
Pre-training stage:learn task-agnostic general knowledge from large-scale corpus by self-supervised learning.(预训练阶段:通过自监督学习从大规模语料库中学习与任务无关的常识。)
Fine-tuning stage:transfer learnt knowledge to downstream tasks by discriminative training.(微调阶段:通过判别训练将学到的知识转移到下游任务中。)
(1)Transformer
(2)自监督训练是一种非监督的形式,没有标注语料,根据自身文本的特点进行训练。
Self-supervised learning is a form of unsupervised learning where the data itself provides the supervision.(自我监督学习是一种非监督学习的形式,其中数据本身提供了监督。)
自监督可以通过Autoregressive Langusge Model(AR LM)或者Auto-encoding(AE)实现。
(3)预训练
一次多义的情况Word2Vec无法判定,后面都是结合上下文改进可以识别一词多义。
GPT3适合生成。XLM是多语言的。