1. AI的三个阶段
1) 上世纪50~60年代,计算机刚刚产生
2) Machine learning
3) Deep learning, 有神经网络, 最有代表性的是ChatGPT, GPT(Generative Pre-Trained Transformer)
2. 深度神经网络
llya Sutskever: 做图像识别,使用了GPT去并行计算及训练。 Alexnet
3. GPT
3.1 Transformer
把一个词使用高维对词进行理解,可以并行做训练。ChatGPT使用互联网上的所有资源进行学习。