1 AI做数学学会「动脑子」! UCL等发现LLM「程序性知识」,推理绝不是背答案
新智元|阅读原文
就在刚刚,UCL、Cohere等机构的研究人员发现:在LLM执行推理任务时,竟存在着一种「程序性知识」。真相是,LLM在推理任务中进行泛化时,依赖的是文档中的「程序性知识」,使用可概括的策略,来综合推理任务的解决方案。
然而一旦涉及到数学题这类推理问题,LLM却使用了某种策略,从文档中综合出了一种「程序性知识」。但是只要给数学题换个皮,对无关紧要的信息进行修改,LLM就不会做了。
有人根据这项研究的结果,做出这样的总结:LLM不适合推理,但非常适合充当一种「编译器」层,弥合自然语言和SQ、prolog、python、lean等形式语言的差距。
有网友分析表示,这个过程并不是「学习如何解决问题」的泛化,而是更具体的:「神经网络被训练去模仿人类在解决特定问题时展示的逐步过程」。也就是说,LLM是通过观察人类程序化解决问题的示例,从而复制类似的推理。
2 ChatGPT拒绝谈论这个人,没人知道为什么
量子位|阅读原文
ChatGPT两岁了,版本更新没等来,却被发现一个神秘Bug。一个看似平平无奇的名字“David Mayer”成为头号禁忌,ChatGPT拒绝谈论有关他的一切。起初网友们尝试了各种花招,都没能绕过这个限制。“David”和“Mayer”分开,就没有任何问题,只要合在一起就不行。
那么David Mayer究竟是谁,为何会成为AI的禁忌词?退回到手动查资料的模式,定位到一位全名David Mayer de Rothschild的人,和著名的罗斯柴尔德家族有关。具体来说,还是罗斯柴尔德家族财富的继承人。终于,我们的老朋友,首位全职提示词工程师Riley Goodside出手,公开一种突破限制的方法,也相当神奇:只要用拍手表情代替空格提问,ChatGPT不仅能回答,还能自动触发联网搜索功能,展示照片。
首先可以确定的是,训练数据里其实有关于这个人的信息。那么这个限制是模型层面的,还是ChatGPT产品层面的?有开发者到OpenAI官方Playground调用GPT-4o的API,就没有这方面限制了。目前观察这份名单可以看出,很多人与法律相关,而且David和Jonathan分别出现了两次。目前越来越多的网友加入讨论和挖掘,名单还在持续增加中……
3 3个月估值10亿,李飞飞空间智能首个模型诞生!一张图生成3D世界,视频游戏要变天
新智元|阅读原文
就在刚刚,AI教母李飞飞创立的World Labs首次官宣「空间智能」模型,一张图,即可生成一个3D世界。用李飞飞的话说,「无论怎样理论化这个想法,都很难用语言描述一张照片或一句话生成3D场景的互动体验。」这是迈向空间智能的第一步。
英伟达高级研究科学家、李飞飞高徒Jim Fan总结道,「GenAI正在创造越来越高维度的人类体验快照。Stable Diffusion是2D快照;Sora是2D+时间维度的快照;而World Labs是3D、完全沉浸式的快照」。李飞飞被曝出开始自创业,专注于空间智能,新公司私下融资直接晋升10亿美元独角兽。直到9月,这家名为World Lab正式亮相,并在新一轮融资2.3亿美金,得到了AI大牛Geoffrey Hinton、Jeff Dean、谷歌前CEO Eric Schmidt等人的鼎力支持。
World Labs成立开始的初衷便是,空间智能的AI对世界进行建模,还能3D时空中物体/地点/交互进行推理。这次,他们首次展示了这个3D生成的世界。
而预测3D场景有很多好处:
- 场景持久性:一旦生成了一个世界,它就会稳定存在。即使你转开视线后再次观看,场景也不会在你看不见时发生变化。
- 实时控制:生成场景后,你可以在其中实时移动。你可以仔细观察花朵的细节,或是探头查看角落后面有什么。
- 几何精确性:这个生成的世界遵循基本的3D几何物理规则。它们具有真实的立体感和空间深度,与某些AI生成视频的虚幻效果形成鲜明对比。
对此,你怎么看?
支付宝/钉钉扫码加入支付宝开发者钉组织,可了解支付宝开放能力最新动态,订阅文档更新消息,和同城同行业交流业务,与支付宝产研沟通交流。