ChatGPT的哲学思考

不是很了解nlp最前沿，但是能看懂目前大部分关于技术和讨论的文章；如果要弄懂chatgpt的概念和价值，涉及语言学、哲学、自然语言处理、统计学、深度学习和强化学习知识，所以自然就能明白为什么我们很难从0-1弄出来了。

根据维特根斯坦的《逻辑哲学论》中的论题：世界是事实构成的。语言与世界相对应，句子之间的关系与事实之间相对应。

从第一性原理出发，语言是由语法（规则）、逻辑组成，chatgpt是语法层面不出错，但是逻辑跟事实很多都是错误信息，因为本质还是最大概率生成文本，逻辑推理能力本质还是没有解决。

深度学习大模型能够学习预料样本的内在规律，强化学习能够在与环境的交互中通过学习策略获得更优的学习参数。所以Chatgpt的三个训练步骤为：收集反馈数据，训练奖励模型，PPO强化学习。

下面引用一段评价：但是不能认为ChatGPT就是一个统计模型所以它的一切认知都是来自于它的语料的错误。大多数人对大神经网络的理解可能还停留在它只能抓住语料数据中的统计相关性的这个层面。

但过去两年来大型语言模型之所以突飞猛进，正是因为它突破了这个障碍。它确实仍然不能很好地进行逻辑推演，但人们发现统计推断/逻辑符号推断并不是非黑即白的分野，而今天的大型语言模型正好落在中间的某个神秘地带上。如果你对ChatGPT的使用稍微深入一点，你一定自己也能意识到“它的认知都是通过语料里反复读过才习得的”这件事不可能是真的。比如说你可以要求跟它玩游戏，游戏规则是你告诉它的，然后它就能跟你玩得有来有回。这显然不能用传统的「一切都从语料的统计里学习」的老观念来理解。这种临场学习的能力叫 in-context learning，是过去一年最热门的学术话题之一，且学术界本身对这个现象也还没有充分理解，但工业界已经可以进行应用了。

总之，虽然Chatgpt很强大，但在处理更复杂的形式逻辑推理时会卡住，所以本质上逻辑推理仍然未能达到真正的智能。在计算机诞生之前，由图灵这些大师完成对什么是计算这个概念的认识，邱奇等通过递归论说明一切算法可计算函数都是递归函数，说明什么是可被计算的。正如我们不能解决掉“电车难”问题就不能实现真正的自动驾驶一样，在没有对什么是逻辑推理能力有本质认识时，人工智能依然只能是辅助AI，只是我们的生活又将发生巨大的变化。