ChatGPT技术演进简介

chatGPT（chat generative pre-train transformer， 可以对话的预训练trasformer模型），讨论点：
1、chatGPT为什么突然火了
2、GPT 1.0、2.0、3.0、3.5 、4和4o区别和特性，在不同应用场景中如何选对模型
3、未来大模型可能演进方向

1、chatGPT为什么突然火了

科技发展

1、硬件算力提高英伟达的A100GPU(10/2020)

2、设计专门用户AI训练的处理器，如谷歌TPUs，从2016年的第一代到2024年的最新的第六代

3、各种优秀NLP、CV模型涌现，例如基于谷歌Trasformer（2017）的BERT和GPT的NLP处理模型。transformer两个重要创新点，第一，降低了人工标注训练数据集成本，为大量无标注数据用于模型训练提供了可能；第二，将训练由串行变成并行，缩短了训练的时间。

高质量数据的增加

1、各种数字设备和IoTs设备在增加，结构化的数据量在成指数级增加，谷歌预计到2035年，数据中心数据量将达到175ZB（175ZB = 1 百万TB）

2、更好的数据收集方法和清理数据方法，根据麦肯锡2016报告，相比普通公司，基于数据驱动的公司获取用户数据可能性23倍，保留用户数据6倍。

3、云计算降低了保存、处理数据的成本，也增加了数据的收集

资本投资和竞争

1、越来越多的公司认识到AI在科技创新、提效上的强大潜力，