基础:走进自然语言处理
打卡课的链接: https://aistudio.baidu.com/aistudio/
理论课:预训练语言模型及应用
目录
目录
什么是语言理解?
怎么基于深度学习实现语义理解?——Word2Vec
从海量的无标注语料数据学习通用的语言表示
怎么基于深度学习实现语义理解?——RNN/ LSTM
从海量的无标注语料数据学习通用的语言表示。
如何使用?
有什么问题:
Pre-training & Fine-tuning机制
计算机视觉(CV)领域首次提出
* Pre-training 在大规模数据集上学习尽可能好的通用表示
*Fine-tuning 利用学习好的通用表示初始化下游任务网络(加速收敛、减少任务相关监督数据的需求)