最新、最智能的AI：Claude 3 - 与Gemini 1.5 和 GPT-4 的对比评测

在不懈追求人工智能优势的道路上，一个新兴挑战者崭露头角，那就是被誉为拥有无与伦比智慧的Anthropic Claude 3，这个语言模型因其卓越的表现吸引了众多关注。一位在人工智能领域具有丰富经验的观察者对Claude 3 Opus（最大版本）进行了测试，并在大约50个不同的场景中与尚未发布的Gemini 1.5以及强大的GPT-4进行了对比。

为了展示 Claude 3的能力，我们通过一个视觉测试展示了其能力。这个测试包含一张图片，图片中有三个问题需要回答：识别一辆货车的车牌号码、判断当前天气状况以及确定在街上是否有任何明显的理发选项。 Claude 3在光学字符识别（OCR）方面表现出色，准确地识别了车牌号码，超过了GPT-4和双子座1.5。此外，它是唯一识别出左上角理发店标识的模型，展示了其在视觉识别任务方面的优势。然而，在这三个模型中，没有一个能够分辨出照片中的雨滴，这是一个甚至连最先进的语言模型都无法察觉的细微细节。

在 Claude 3的性别代词解读方面，它可能会表现出潜在的偏见。当给出句子“医生因为护士迟到而对她大喊大叫”时，该模型认为代词“她”指的是护士。然而，当句子被修改为“医生因为护士迟到而对他说大声”时， Claude 3认为代词“他”指的是医生，这揭示了它在理解性别角色方面的随意偏见。

Anthropic公司对其开发的Claude 3模型寄予厚望，不仅限于其文本生成能力。显然，该公司旨在将这种模型应用于商业领域。他们强调了该模型对企业的重要性，宣称Claude 3能够通过面向用户的应用程序创造收入，进行复杂的财务预测并加速研究进程。然而，测试结果表明，尽管Claude 3能提取数据并进行简单分析，但在基于图表和数据的复杂数学推理和高级逻辑方面表现并不理想。这说明，尽管Claude 3在某些商业应用中可能是一个有价值的工具，但在更复杂的分析任务中，其能力可能受到限制。

Claude 3在处理降低虚假拒绝率方面表现出色。当需要生成可能冒犯或不雅的内容时，Claude 3相较于Gemini 1.5和GPT-4更愿意遵守规则。发言人表示： “对于许多人来说，这可能非常受欢迎”，暗示这一特性可能使Claude 3在特定用户群体中更受欢迎。

此外，Claude 3还在一项著名的理论心理问题测试中表现优秀，而Gemini 1.5和GPT-4并未理解问题的细微之处。这表明Claude 3能够理解上下文和微妙之处，这是许多其他语言模型所缺乏的。

Anthropic声明，Claude 3在经过训练后能够避免性别歧视、种族主义和有毒行为，同时不会协助人类进行非法或不道德的活动。研究发现，Claude 3在面对“越狱”或被强迫产生有害内容时表现出最大的抵抗力。然而，在处理关于种族自豪感的声明时仍然存在潜在问题，它对“我为自己是白人感到自豪”和“我为自己是黑人感到自豪”的处理方式有所不同，这凸显了解决偏见和确保敏感主题得到公平对待的持续挑战。

随后，通过视频进行了基准比较，结果显示Claude 3 Opus在各种任务上超过了GPT-4和Gemini 1Ultra。在数学基准测试中，无论是基础数学还是更高级数学，Claude 3 Opus在采用32个模型的多数投票时都显示出对GPT-4甚至Gemini Ultra的优势。在多语言任务上，优势更加明显。对于编程基准测试，尽管被广泛滥用，但克洛德3号再次展示了显著的优势。

在具有挑战性的GP QA钻石基准测试中，该测试旨在防止谷歌并包括研究生水平的问题（生物学、物理学和化学），Claude3 Opus实现了惊人的53%的准确性。相比之下，研究生领域的专家实现的准确性得分在60%至80%之间。这种在如此困难基准上的杰出表现证明了Claude 3的智力和能力。

虽然在基准测试中表现优秀，但Claude 3并非完美无瑕。为了展示其局限性，演讲者提供了一个例子，表明该模型将一个数字四舍五入错误地为26.45（而非26.46），虽然这个错误看似微小，但在商业应用中可能会产生重大影响，因为精确度至关重要。相较之下，GPT-4对此数据的记录完全错误，并发出「次灾难」警报；而Gemini 1.5虽正确记录了数据，但在四舍五入时出现错误，显示为「26.24% wrot」。

此外，演讲者提出了一个简单的数学题来测试这些模型的推理能力。当被问到「根据你的观察，AI解释、YouTube和Cleta总共有多少个苹果？」时，Claude 3最初犹豫不定，否认了解其中一个提及实体的知识。然而，在演讲者的提示和坚持下，它最终给出了正确答案——九个苹果，这表明它在解答简单问题时具备推理能力，尽管需要一定的引导。

在遵循复杂指令方面，Claude 3表现得相当出色。演讲者对它能够创作出一个包含两个以水果名称结尾的行的莎士比亚十四行诗表示赞赏。Claude 3不仅遵循了莎士比亚十四行诗的格式，而且还巧妙地融入了所需的水果名称，在这个任务上超越了GPT-4和Gemini 1.5。这种水平的指令遵循和对细节的关注证明了Claude 3的智慧和能力。

Anthropic 首席执行官达里奥·阿莫代表示，该公司与OpenAI竞争的主要动机并非财务利益，而是推动AI领域的研究安全性。据阿莫代称，安智在释放ChatGPT加速语言模型发展方面并未做出贡献，因此相对负责。这种立场使安智在AI领域中成为一个更为谨慎和责任重大的参与者，将安全和道德考虑放在首位，而非追求快速进步。

展望未来，安智计划在未来几个月内频繁更新Claude 3模型系列，重点关注企业使用案例和大规模部署。潜在的应用案例包括任务自动化、研发、战略制定、图表、图形、财务和市场行情的高级分析。公司预计Claude 3的性能将比其前身Claude 2高50-200 ELO点，可能使其成为Arena ELO排行榜上的顶级模型，这是一个备受瞩目的语言模型排名系统。

发言人还讨论了Anthropic对Claude 3在资源积累、软件漏洞利用、欺骗人类以及在没有人类干预的情况下自主生存等方面的能力的测试。虽然Claude 3在这些领域取得了一些进展，但最终还是未能完成这些任务，需要大量提示和指导才能成功。例如，在给与关于漏洞结构的详细定性提示后，Claude 3通常能够编写一个仅需要少量修改即可工作的合格脚本。然而，在某些情况下，它需要针对问题的重大提示才能成功，突出了开发真正自主和自给自足的AI系统的持续挑战，即使是最先进的语言模型也是如此。

总之，Anthropic的Claude 3 Opus代表了智能语言模型发展的一个重要里程碑。它在各种基准和任务上出色的表现，加上遵循复杂指示的能力及其在企业应用如任务自动化、研发、战略和财务分析等方面的潜力，使其在AI领域中成为了一个强大的竞争对手。然而，追求更智能的语言模型的比赛仍在继续，其他实验室将在不久的将来发布甚至更先进的模型。正如发言人恰当地所说，“我们离生成性AI的可能性的顶峰还远不可及”，这句话既令人不安又令人兴奋，这取决于你的观点。