读《这就是ChatGPT》

这本书只重点讲了预训练部分，SFT、RM和强化学习未涉及

参见OpenAI创始成员、前Tesla AI负责人 Andrej Karpathy 2023年5月的 State of GPT

沃尔弗拉姆的建议

提出问题、

判断问题值得提出、

定义价值、

知识广度和思维清晰度、

更高层次学习、

尽可能调用知识和范式。

观点

1、神经网络解决复杂问题比解决简单问题更容易；

2、语言在根本上比它看起来更简单。