自然语言处理的进化

关于不同的语言模型如何选择，我们有了大模型，以前的这些语言模型还有用吗？

我们的目标是制造一个为人们服务的产品，机器学习和人工智能只是达到目的的手段。重要的是很好的解决问题，而不是使用哪种方法。在大多数情况下，快速而不完美、不规范、不“高大上”的解决方案反而会让我们快速步入正轨。当简单的匹配就可以解决问题的时候，是不需要训练深度神经网络的。其实今天的快速而不完美，正是建立在昨天的缓慢和精确上的。如今，即使你认为你做出了完美的解决方案，从未来的维度看，它依然是快速而不完美的。–《chatbot从0到1:对话式交互实践指南》

第一阶段：统计模型+数据（特征工程）

• 决策树
• SVM
• CRF
• TF-IDF
• BOW
  词袋模型（Bag of Words Model）
  NLP：n-gram模型

第二阶段：神经网络+数据

• Linear
• CNN
• RNN
• GRU
• LSTM
• Transformer
• Word2vec
  机器学习算法（十三）：word2vec
  一文说懂Cbow和Skipgram
  【AI理论学习】理解词向量、CBOW与Skip-Gram模型
• Glove
  Glove模型的原理与代码

第三阶段：神经网络+预训练模型+（少量）数据

• Elmo
• GPT
• BERT
  一文读懂BERT(原理篇)
  BERT模型的详细介绍
  Bert向量表示不能直接用于相似度问题的分析
• RoBERTA
• ALBERT
• BART
• T5

第四阶段：神经网络+更大的预训练模型+prompt

• ChatGPT
• Bloom
• LLaMA
• Alpaca
• Vicuna
• Moss
• 文心一言
• 通义千问
• 星火

参考

• OpenAI发展史与GPT实现原理
  
  

• 【01-大模型基础——语言模型】

• 语言模型