ChatGPT帮你做科研？这里有三点建议

Milton Pividori   学术头条

  2024年08月22日 18:15 北京 听全文

【编者按】Milton Pividori 是科罗拉多大学安舒茨医学园区的一名生物医学信息学研究员，他花了一年半的时间研究如何在科研工作中更好地使用 ChatGPT。在这篇文章中，他重点介绍了三条主要经验。

在他看来，如果你不知道如何做某一件事，就不要使用聊天机器人来帮你做。

图｜Milton Pividori

其他核心观点如下：

• 公众一直被灌输着这样的观念，即这些模型是“智能”的，因此认为它们应该能理解你提出的任何问题，但事实并非如此。

• 在考虑潜在的应用时，问问自己这项任务需要多少创造力，如果模型引导错误会发生什么。

• 聊天机器人写作比用它来阅读风险更小。

• 我们面临的挑战是识别那些只有人类才能完成的任务——并认识到 LLM 仍然存在的局限性。

学术头条在不改变原文大意的情况下，做了简单的编译。内容如下：

ChatGPT 震惊了世界。这个人工智能（AI）聊天机器人由 OpenAI 创建，由一个大型语言模型（LLM）提供支持，并根据互联网上发布的大量文本进行训练，通过提供一个能够回答复杂问题、撰写复杂文章和生成源代码的对话式界面，使大模型技术得以广泛应用。一个显而易见的问题是：这一工具如何改进科学？

在过去的 18 个月里，我的实验室一直在探索如何将这项技术融入到日常工作中，如进行文献综述、修改和撰写学术论文以及编程代码。我们的目标是评估如何安全地使用这项技术，以产生更好的科学成果并提高工作效率。在此，我们重点介绍一些关键经验。

提示词工程化

要想有效地使用 AI 聊天机器人，你需要一个好的提示词（prompt）。这听起来可能很简单，但当 AI 聊天机器人无法回答一个表述不清的问题时，我的一些同事仍然会感到沮丧并放弃。这是可以理解的：公众一直被灌输着这样的观念，即这些模型是“智能”的，因此认为它们应该能理解你提出的任何问题。但事实并非如此，这就是为什么提示工程（prompt engineering）已经成为该领域一门快速发展的学科。

好的提示设计有很多细微差别，但基本原则很简单：

• 明确你希望模型做什么（使用“总结”或“解释”等命令）；

• 请模型扮演一个角色（比如“你是一名专业的文案编辑”）；

• 提供真实输入和输出的示例，可能包括复杂的“边界”情况，向模型展示你希望它做什么；

• 明确模型应该如何回答（比如“向对表观遗传学有基本了解的人解释”），给出确切的输出格式（比如便于分析的 JSON 或 CSV 文件）。

• 还有一个可选项，规定字数限制、文本应使用主动语态还是被动语态以及其他要求。

以下是我们用于修改手稿摘要的提示。

你是一名专业文案编辑，在处理科学文本方面经验丰富。请修改下面的手稿摘要，使其符合上下文-内容-结论方案。(1) 上下文部分向读者传达论文将填补的空白。第一句通过介绍更广泛的领域来引导读者。然后，缩小背景范围，直到研究回答的开放性问题。一个成功的背景部分可以将研究的贡献与当前的技术水平区分开来，说明文献中缺少什么（即具体差距），以及为什么这很重要（即具体差距与更广泛背景之间的联系）。(2) 内容部分（例如，“在这里，我们......”）首先介绍用于填补空白的新方法或新途径，然后介绍结果的执行摘要。(3) 结论部分解释结果，回答背景部分末尾提出的问题。结论部分可能还有第二部分，强调这一结论如何推动更广泛领域的发展（例如，“更广泛的意义”）。

找到合适的任务

在考虑潜在的应用时，问问自己这项任务需要多少创造力，如果模型引导错误会发生什么。任务的哪些方面只有人才能做出贡献，哪些方面比较机械——通常也比较无聊？

以研究项目的文献综述阶段为例。这一迭代过程的目标是编制一份精炼的文章列表，并总结其主要观点。这听起来像是聊天机器人助手的完美任务，确实如此，但一开始并非如此。确定研究问题需要创造性思维；你需要仔细阅读论文，找出研究空白，提出假设，并开始思考如何通过实验解决问题。你可能希望尽可能多地了解每篇论文，包括图、表和补充材料。聊天机器人可能会遗漏关键信息，更重要的是，可能会妨碍你建立有创意的逻辑联系。

但是，在这个过程的后期，你的目标将有所不同。此时，你可能想快速“阅读”（即总结）与你的工作不太直接相关的文章。在这种情况下，使用聊天机器人助手的风险较低。

我们的团队在使用专业工具（如 SciSpace）搜索文章、评估文章相关性并与文本“聊天”方面取得了一些成功。但通用工具（如 ChatGPT）就不那么有用了。无论你选择哪种平台，都要同时使用标准搜索引擎，以最大限度地增加找到的相关论文数量。

多写少读

根据我的经验，用聊天机器人写作比用它来阅读风险更小。让一个 LLM“阅读”一篇论文，你必须相信它能准确提取出最重要的观点，因为你自己可能都没读过这篇文章。但在使用它写作时，你可以完全控制输出结果，并在出现“幻觉”——不合逻辑或不准确的文字——时及时发现。

当我开始撰写手稿时，我已经知道自己想说什么，但我经常需要帮助来撰写文章。在这种情况下，向聊天机器人提供本学科科学手稿的结构规则是非常有用的。另一种方法是，你可以先在没有帮助的情况下写作，然后使用聊天机器人修改文本（例如，将上下文-内容-结论结构应用到段落中），查看聊天机器人的建议，并将好的建议付诸实施。

在使用聊天机器人编写源代码时，你也可以采用类似的方法：向 LLM 请求代码来解决问题或修复现有的错误代码。如果你知道你想让代码做什么（创意部分），你就需要编写一个提示，指示模型使用哪种语言和库（机械部分）。然后，运行代码以确定其是否有效。最糟糕的情况是，代码产生了错误的结果或传达了错误的结论。即使你得到了看似正确的答案，你也需要仔细检查代码——为此，你需要理解代码。

这很关键，如果你不知道如何做某一件事，我强烈建议你不要使用聊天机器人来帮你做。

随着 LLM 能力的不断提高，它们可以帮助科学家专注于其工作中具有创造性和挑战性的方面，并完成一些不需要动脑筋的事情。我们面临的挑战是识别那些只有人类才能完成的任务——并认识到 LLM 仍然存在的局限性。

原文链接：

https://www.nature.com/articles/d41586-024-02630-z

｜点击关注我 👇 记得标星｜

人工智能那些事儿 239

素材来源官方媒体/网络新闻

阅读  39