《侃侃大模型系列》第二章（4）——大模型的近期发展方向（1）：NLP大模型发展趋势

NLP大模型发展趋势

自然语言处理（NLP）技术是计算机理解和生成自然语言的过程，使计算机具有识别、分析、理解、加工和生成自然语言文本的能力，实现人机间的信息交流，是人工智能最为关键的核 心技术之一。NLP技术经历了70多年的发展历史，按照技术的角度，大致可分为NLP1.0:基于规则；NLP2.0:基于统计；NLP3.0:基于深度学习三个阶段。2022年NLP新模型——ChatGPT问世掀起热浪，GPT开发的“对话式机器人”,通过高质量的文本理解和创作能力，将NLP带入新纪元。

NLP大模型技术架构发展趋势{3}

Transformer架构打破传统NLP模型限制，训练速度更快且可以记忆 长久的输入数据。而以Decoder-only架构为核心的GPT-3在发布后展 现出超强语言泛化能力，逐渐成为现今NLP大模型的主流技术架构，并且形成了两条NLP大模型技术架构发展趋势

1)    以注意力机制为核心的编码器+解码器Transformer架构打破传统NLP模型限制，训练速度更快且可以记忆长久的输入数据。