Yann LeCun 是 Meta 的首席人工智能科学家，纽约大学教授，图灵奖得主，同时也是人工智能历史上最具影响力的研究者之一。
今年3月，他参与了知名YouTube博主 Lex Fridman 的 Podcast 访谈。在这次访谈中，他们深入探讨了许多AI相关的有趣话题。遗憾的是，由于某些未知原因，该视频在国内无法观看。因此，我结合自己的理解和思考，对谈话内容进行了以下总结和反思，以供大家参考。
对于访谈的评价
- Yann Lecun 的思路非常清晰，并展现出强烈的自信心。他的很多观点与主流看法不同，例如他对生成式模型架构的批评，以及对大型语言模型（LLM）本质缺陷的看法。虽然这些观点多数基于个人见解，缺乏严格的理论支撑，但他从AI先驱的角度提出的思考，确实在某些方面颇具洞见。
- Lex Fridman 作为访谈主持，表现出色，节奏掌握得当，保持访谈的引人入胜。他向 Lecun 提出了许多大家关心的深入问题，我推荐大家关注他的其他Podcast。
AGI的展望：不应只依赖于Scaling Law
- 虽然Scaling Law极大地推动了模型性能的提升，但其限制也日益明显。不仅存在硬件的扩展限制，全球适合训练的数据量也将逐渐耗尽，这表明我们不能仅依赖于Scaling Law来实现与人类相当的智能水平。
- 正如另一位图灵奖得主 Yoshua Bengio在一个访谈中所述， “我不想把人类的未来押注在对 Scaling Law 的盲从，扩大模型规模不是提升模型性能的唯一制胜法宝，为了解决大模型目前存在的问题，我们需要探索新的方法。”
LLM的局限性
- 智能的表现形式远比语言更为高级。语言并非智能的本质——我们在思考时不一定依赖语言，而人类儿童强大的学习能力也是在尚未掌握语言的情况下通过视觉和触觉等非语言信息实现的。
- LLM的成功仅仅证明了自监督学习的有效性，但我们不能仅凭LLM来构建真正的世界模型。
AI幻觉问题
- 生成式模型无法根本解决“幻觉”现象。由于这些模型本质上基于概率运作，而实际的训练数据在所有可能的数据空间（即各种可能的Prompt）中只占极小部分。因此，面对未曾遇见的Prompt时，模型相关参数未被激活，就可能导致模型输出不切实际的结果。
- 偏见问题无法从根本上消除。尽管我们努力使系统公正，但由于每个人的观点不同，而这个世界本身就存在偏见，模型总是会表现出某种偏向。这不仅仅是技术问题，而是更深层次的社会与认知问题。
推理能力
- LLM的思考方式与人类大相径庭。对于LLM来说，无论面对的问题是复杂还是简单，其思考的成本仅取决于输出的Token数量。而人类在面对复杂问题时会花费更多时间来深入思考，这种方式显然更合理。
- LLM缺乏“先思考后发言”的能力。其处理信息的方式更似人类的潜意识，无需深思熟虑即可迅速反应。未来的模型架构应当培养模型在做出反应前进行深入思考的能力。
- LLM的运作更类似于丹尼尔·卡尼曼描述的“系统1”思考方式——快速、直觉性的反应；而为了培养出更强大的推理能力，我们需要模型能够实现类似“系统2”的思考方式——缓慢、逻辑性和深思熟虑的过程。
开源模型
- Meta开源了Llama模型，虽然背后有其商业策略，但这一举措无疑极大地推动了AI技术的公平和开放发展。
- 相较之下，百度选择了闭源策略，虽然从商业角度来看这是可以理解的，但其对开源模型的贬低态度显得不够宽容。虽然公司可以选择不开源，但不应嘲笑或讽刺那些选择开源且做得较好的竞争者。格局高低，高下立见。
AI的渐进发展与潜在风险
- 渐进性发展：Lecun多次强调，“AGI不是一夜之间的事件”。人类级别的AI的发展是一个渐进过程，我们将逐步提升AI的智能，从小猫小狗的智力水平，到儿童，最终达到成人水平。这个缓冲期将允许我们开发出真正安全且有用的人工智能。
- AI的益处：Lecun认为，AI的智能化可以使人类更聪明，这将对人类有益。他觉得如果AI足够聪明，它会选择保护而非消灭我们。
-
- 对此的质疑：然而，我对这种乐观的看法持保留态度。智能本身，并不直接等同于道德或优先考虑他者利益，正如人类虽智慧但并非总是将其他生物的福祉置于首位。因此，对AI安全性的关注是合理的，这一观点不仅我一人持有，其他AI研究领域的重量级人物如Yoshua Bengio和Geoffrey Hinton等也持相同看法。在这样重要的事项上持谨慎态度总是明智的，哪怕这可能意味着AGI的实现会稍有延迟。
人形机器人的挑战与应用前景
- 短期内，人形机器人很难实现广泛的通用性。这主要是因为它们缺乏一个有效的世界模型，我们还未能成功地通过模型来完全抽象人类的决策过程。
- 尽管如此，Lecun认为，在某些特定领域，如工业生产环境（例如工厂），开发实用的机器人是有可能的。
171
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
