NLP
文章平均质量分 91
深度学习客
我在CSDN上撰写博客,并借助ChatGPT辅助创作,旨在记录我的学习轨迹和思考过程。这些文字不仅帮助我在困惑时回顾过去的思路与行动,也旨在与大家分享,希望我的经验能够为他人提供参考,或许在某些时候,能成为大家借鉴和避免的案例。
展开
-
Transformer架构概述(二)
Transformer模型是Vaswani等人在2017年提出的,旨在通过完全摆脱传统RNN和CNN的结构,依赖于全新的Self-Attention机制来处理序列数据。论文的核心观点是,序列处理不再依赖递归结构(如RNN中的逐步处理),而是通过注意力机制并行处理输入序列。这使得模型在处理长序列时能更有效地捕获全局依赖关系,同时显著提升并行计算的效率。Self-Attention机制是Transformer的核心,它通过计算输入序列中的每个位置与其他所有位置的相似度,来捕捉序列中任意位置之间的依赖关系。原创 2024-10-05 15:01:09 · 818 阅读 · 0 评论 -
NLP进阶(一)
目录第一阶段:Transformer深入理解与微调实现(第1-2周)1. Week 1:深入Transformer架构与手写实现2. Week 2:微调预训练模型与BERT应用第二阶段:RAG技术入门与实现(第3-4周)3. Week 3:RAG技术概念与基础实现4. Week 4:RAG技术优化与应用第三阶段:高级任务与RAG技术融合(第5-6周)5. Week 5:信息抽取与RAG问答系统实现6. Week 6:RAG在文本生成任务中的应用第四阶段:综合项目与RAG技术部署(第7-8周)7. Week原创 2024-10-05 14:35:41 · 1184 阅读 · 0 评论