Milton Pividori 是科罗拉多大学安舒茨医学园区的一名生物医学信息学研究员,他花了一年半的时间研究如何在科研工作中更有效地运用 ChatGPT。在这篇文章中,他详细介绍了三条主要的经验。
他的观点是,如果你不清楚如何完成某个任务,就不应该依赖聊天机器人来协助你。
图|Milton Pividori
以下是他的其他核心观点:
公众常常被误导认为这些模型具有“智能”,从而期待它们能理解任何问题,但实际情况并非如此。
在考虑可能的应用前,思考这项任务需要多少创造性,如果模型指导出现误导会有何后果。
使用聊天机器人进行写作的风险小于用它来阅读。
我们面临的挑战在于,识别出那些只有人类才能完成的任务——并意识到 LLM 仍有其局限。
学术头条进行了简单的翻译,未改变原文的意思。内容如下:
ChatGPT 在全球引起了轰动。这个人工智能(AI)聊天机器人由 OpenAI 创建,得益于庞大的语言模型(LLM)和庞大的互联网文本训练数据,它提供了一个能够回答复杂问题、撰写复杂文章和生成源代码的对话界面,使得大模型技术得到广泛应用。如何利用这一工具改善科学研究?
过去18个月,我的团队一直在探索如何将这项技术融入日常工作,如文献综述、学术论文的修改和撰写以及编写代码。我们的目标是评估如何安全地利用这项技术,以产生更佳的科学成果和提高工作效率。在此,我们特别强调一些关键的经验。
提示词的工程化
要有效地使用 AI 聊天机器人,需要精心设计提示词(prompt)。这听起来很简单,但当 AI 无法回答一个表述不清的问题时,我的一些同事仍然会感到沮丧并放弃。这很正常:公众一直被误导认为这些模型是“智能”的,从而期待它们能理解任何问题。这也是为什么提示词工程已成为该领域迅速发展的学科之一。
一个有效的提示词设计包含许多细节,但其基本原则很简单:
明确你希望模型完成什么(使用“总结”、“解释”等指令);
让模型扮演一个角色(如“你是一位专业的科学编辑”);
提供真实的输入与输出示例,包括可能的复杂“边界”情况,向模型展示你希望它做什么;
明确模型应如何回答(如“向对表观遗传学有基本了解的人解释”),并给出确切的输出格式(如便于分析的 JSON 或 CSV 文件)。
还可以选择设定字数限制、文本应使用主动语态还是被动语态以及其他要求。
以下是我们用于修改手稿摘要的提示。
你是一名专业文案编辑,在处理科学文本方面经验丰富。请根据上下文-内容-结论方案修改下面的手稿摘要。(1) 上下文部分向读者传达论文填补的空白。第一句介绍更广泛的领域,引导读者。然后,逐步缩小背景范围,直到研究回答的开放性问题。成功的背景部分会将研究的贡献与现有技术水平区分开来,明确文献中的具体缺失以及其重要性。(即具体差距与更广泛背景之间的联系)。(2) 内容部分(例如,“在这里,我们......”)首先介绍用于填补空白的新方法或新途径,然后提供结果的执行摘要。(3) 结论部分解释结果,回答背景部分末尾提出的问题。结论部分可能还有第二部分,强调这一结论如何推动更广泛领域的发展(例如,“更广泛的意义”)。
选择合适的任务
在考虑潜在的应用时,问问自己这项任务需要多少创造力,如果模型指导出现误导会有何后果。任务的哪些方面只有人才能做出贡献,哪些方面比较机械——通常也比较无聊?
以研究项目的文献综述阶段为例。这一迭代过程的目标是编制一份精炼的文章列表,并总结其主要观点。这听起来像是聊天机器人助手的完美任务,确实如此,但一开始并非如此。确定研究问题需要创造性思维;你需要仔细阅读论文,找出研究空白,提出假设,并开始思考如何通过实验解决问题。你可能希望尽可能多地了解每篇论文,包括图、表和补充材料。聊天机器人可能会遗漏关键信息,更重要的是,可能会妨碍你建立有创意的逻辑联系。
但是,在这个过程的后期,你的目标将有所不同。此时,你可能想快速“阅读”(即总结)与你的工作不太直接相关的文章。在这种情况下,使用聊天机器人助手的风险较低。
我们的团队在使用专业工具(如 SciSpace)搜索文章、评估文章相关性并与文本“聊天”方面取得了一些成功。但通用工具(如 ChatGPT)就不那么有用了。无论你选择哪种平台,都要同时使用标准搜索引擎,以最大限度地增加找到的相关论文数量。
多写少读
根据我的经验,使用聊天机器人进行写作的风险小于用它来阅读。让一个 LLM“阅读”一篇论文时,你必须相信它能准确提取出最重要的观点,因为你自己可能都没读过这篇文章。但在使用它写作时,你可以完全控制输出结果,并在出现“幻觉”——不合逻辑或不准确的文字——时及时发现。
当我开始撰写手稿时,我已经知道自己想说什么,但我经常需要帮助来撰写文章。在这种情况下,向聊天机器人提供本学科科学手稿的结构规则是非常有用的。另一种方法是,你可以先在没有帮助的情况下写作,然后使用聊天机器人修改文本(例如,将上下文-内容-结论结构应用到段落中),查看聊天机器人的建议,并将好的建议付诸实施。
在使用聊天机器人编写源代码时,你也可以采用类似的策略:向 LLM 请求代码来解决问题或修复现有的错误代码。如果你清楚自己想要代码完成的任务(创造性部分),那么你就需要编写一个提示,指导模型使用哪种编程语言和库(机械性部分)。接着,运行代码以验证其功能。最糟糕的情况是,代码可能产生错误的结果或传达错误的信息。即使你得到了看似正确的答案,你也需要仔细检查代码——为此,你必须理解代码的工作原理。
正是因为这一点,如果你不了解如何完成某项任务,我强烈建议不要依赖聊天机器人来帮助你完成。
随着 LLM 技术的不断进步,它们可以帮助科学家专注于其工作中具有创造性和挑战性的方面,并处理一些重复性且较为无聊的任务。我们所面临的挑战在于区分出那些只有人类能够完成的任务,并且认识到LLM的局限性。
通过这种方式,科研工作者可以更好地利用聊天机器人的能力,同时避免依赖它们解决那些需要深层次专业知识和创造性思维的问题。这不仅能提高科研效率,还能确保研究成果的质量和创新性不会因错误使用工具而受到影响。 背景:OOP AI-免费问答学习交流-GPT