NLP：自然语言处理技术领域的代表性算法概述(技术迭代路线图/发展时间路线)、四大技术范式变迁概述(统计时代→大模型时代)、四个时代的技术方法论探究之详细攻略daiding已全部迁移

NLP：自然语言处理技术领域的代表性算法概述(技术迭代路线图/发展时间路线)、四大技术范式变迁概述(统计时代→大模型时代)、四个时代的技术方法论探究(少数公司可承担的训练成本原因)之详细攻略

目录

一、NLP代表性算法的简介

1.1、NLP代表性算法技术迭代图文路线

NNLM → Word2Vec → Seq2Seq → Seq2Seq with Attention → Transformer → ELMo → GPT → BERT→ ChatGPT

1.2、NLP代表性算法时间路线

2000年~2012年：SMT

2013年~2017年：Word2Vec、Seq2Seq、Attention 、LSTM

2017年~2022年：Transformer、GPT、BERT

2023年~至今：GPT-4

NLP之PTM：自然语言处理领域—预训练大模型时代各种吊炸天算法概述(NNLM→Word2Vec→ELMO→Attention→Transformer→GPT/BERT系列)、关系梳理、模型对比之详细

二、NLP技术范式的变迁

2.1、基于非NN的完全监督：手工特征

2.2、基于NN的完全监督：端到端

2.3、预训练+精调

2.4、预训练+提示

三、NLP技术四个时代的技术方法论探究

3.1、20世纪50年代：基于规则的方法—耗时费力、效果不尽人意

3.2、20世纪80年代：基于统计方法—更灵活，但需大量标注、解释性弱

(1)、初级—概率统计法—解释性弱

(2)、进阶—机器学习方法—需专业调优

3.3、21世纪初：深度学习方法/数据驱动的语言模型阶段—泛化性、鲁棒性、特殊任务比不过传统方法

(1)、从基于传统神经网络的模型→基于预训练模型的模型的发展过程

(2)、NLP领域，语言模型和预训练模型的区别

3.4、2018年：预训练大模型阶段—吊炸天

(1)、预训练大模型阶段的概述

(2)、优秀算法的核心技术

GPT-3的核心技术

ChatGPT的核心技术

(3)、为什么只有少数公司和机构能够承担这样的训练成本

---

一、NLP代表性算法的简介

1.1、NLP代表性算法技术迭代图文路线