从零开始大模型开发与微调:有趣的词嵌入
作者:禅与计算机程序设计艺术 / Zen and the Art of Computer Programming
1. 背景介绍
1.1 问题的由来
自然语言处理(NLP)领域近年来取得了飞速发展,尤其是在预训练语言模型(Pre-trained Language Models,简称PLMs)方面。从最初的词袋模型、隐语义模型,到如今的Transformer模型,PLMs在NLP任务中取得了令人瞩目的成果。然而,在众多技术中,词嵌入(Word Embedding)技术扮演着至关重要的角色。本文将带领读者从零开始,深入了解词嵌入的原理、实现和应用,并探讨其在PLMs中的应用和微调技巧。
1.2 研究现状
词嵌入技术已经发展多年,目前主要有以下几种主流方法:
- 分布式表示(Distributed Representation):将词