- 博客(2)
- 收藏
- 关注
RSS订阅原创 Happy-LLM 注意力机制
本文介绍了注意力机制及其在自然语言处理中的应用。首先阐述了注意力机制的提出背景，即解决传统神经网络处理序列数据的局限性。核心原理是通过Query、Key、Value三个变量计算权重，聚焦关键信息。随后详细讲解了自注意力机制、掩码自注意力（防止信息泄露）和多头注意力（多角度特征学习）三种变体，并给出PyTorch实现代码。注意力机制通过动态权重分配，显著提升了模型对长序列和关键信息的处理能力。
2025-08-21 12:00:38
792
原创 Happy-LLM NLP概念学习笔记
本文介绍了自然语言处理(NLP)的基础概念与发展历程。NLP旨在使计算机理解、处理和生成人类语言，涵盖文本分类、机器翻译等任务。其发展经历了早期探索、符号主义与统计方法、机器学习与深度学习三个阶段，从基于规则的方法到如今Transformer模型的应用。文章重点阐述了文本表示技术的演进，包括词向量、N-gram模型、Word2Vec和ELMo等方法，分析了各类技术的优缺点，展现了NLP从简单统计到深度学习预训练模型的技术发展脉络。
2025-08-19 17:34:05
1120
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人