AI能取代程序员吗?
Devin
- 这是一个据称可以替代programmer工作的一个AI平台,从演示看,像是一个结合了RAG的chatgpt加上自动化平台。 然后给出了一个新的模型参数, reasoning 都远超过现有的大模型。
但是我一直理解不了,按道理现在的大模型都是基于transformer, transformer基于attention, 训练的参数主要是提取的attention影响权重。正常的public数据里面能反应的应该的正常水平的attention权重, 但是reasoning是不寻常的,一个复杂的reasoning往往是将看似没有关联的信息联系起来,这个应该正好和attention的训练目标相反。 复杂的reasoning是少数人
的游戏,并不适合大多数人,那样即使要训练,正常也应该取少数人的样本数据来训练,但是这样的数据量不足以支持数十亿的参数训练。
所以我一直觉得, 如果要让chatgpt拥有高于常人的reasoning
, 目前应该不是transformer为基础的模型能解决的.