我是娜姐 @迪娜学姐 ，一个SCI医学期刊编辑，探索用AI工具提效论文写作和发表。
继ChatGPT占领学术论文写作之后，斯坦福大学和加州大学的研究人员又发现，很多审稿人也在用AI生成同行评审意见。在2023-2024年顶级AI会议的同行评审中，有高达17%的内容是由ChatGPT等模型生成的。AI正在加速“入侵”学术界。
有吃瓜网友评论说，这个数字可能是50%。
目前，根据各大期刊和出版社的政策，是不允许审稿人用AI进行同行评审的。原因在于，数据隐私和伦理的考虑，偏见和公允，以及可能会出现错判和误判等等。
但是，架不住人类的好奇心和爱偷懒的天性，还是有不少审稿人偷偷用AI来帮助自己审论文，给出评审意见。
斯坦福研究团队这次调查的AI会议论文包括ICLR 2024、NeurIPS 2023、CoRL 2023和EMNLP 2023这四个，调查的结果发表在arxiv上↓。
他们是如何发现AI参与同行评审的蛛丝马迹呢？具体来讲，AI参与peer review主要有以下几个证据：
1 同行评审中形容词频率的变化：
论文发现，在ICLR 2024的同行评审中，某些词语（如“commendable值得称赞的”、“meticulous细致的”和“intricate复杂的”）的使用频率发生了显著变化，表明在ChatGPT发布后，这些词语可能被更频繁地用于评审中。
2 截止日期效应：
论文发现，在截止日期3天内提交的评审中估计的α值有小幅但持续的增加。表明随着截止日期的临近，审稿人可能更依赖LLM来节省时间。
3 参考文献效应：
结果显示，包含“et al.”的评审意见（即有参考文献引用）相比没有“et al.”的，更有可能是人类评审专家完成而不是ChatGPT。因为众所周知，ChatGPT在给出参考文献时，会编造不存在的文献。
4 复审次数相关性：
论文发现，审稿人回复作者的回复次数与估计的ChatGPT使用率（α）之间存在负相关。意思是，如果审稿人和作者来回讨论，复审次数越多，越不可能是ChatGPT生成评审意见。
总之，论文提出了一种新的计算方法来估计大型文本语料库中由AI生成的文本比例。通过应用这种方法，作者发现在ChatGPT发布后，AI会议评审文本中有很明显是被LLM修改或生成的部分，主要证据包括特定形容词词频使用增高、截止日期的影响、评审意见中是否引用参考文献、审稿人回复次数等。
当然，本次调查只涉及四个AI会议，没有涉及其他主流的学术期刊论文。但是，冰山一角，对于LLM该如何规范合理的用于同行评审，期刊和出版社有望推出更加明智的政策决策，而不是简单粗暴一刀切，因为未来已来，趋势势不可挡。
就像前段时间热搜的“AI马脚”堂而皇之的出现在已经上线的论文中：
“重新生成”
“作为一个人工智能语言模型，我没办法获得实时信息或患者的具体数据。。。”
“Certainly, here is a possible introduction for your topic”等等。
那些悄摸用ChatGPT辅助发论文，没有被发现的人，肯定更多。
无独有偶，最近有人拿delve这个词在pubmed中出现的频次进行了统计，发现它跟ChatGPT上线的时间线呈高度正相关。确实，ChatGPT特别是4.0，在学术论文中很喜欢用delve into（深入）。
可以预见，未来就业或评职称，需要的论文数量和IF点数，被这些用AI大模型来疯狂发论文的人卷上一个新高度。
学术论文作为一个载体，它的主要作用是交流学术发现和成果。其中作者的新发现、新成果才是其中最有价值的部分。
写论文对于每一个科研人，不论是新手还是发了几十篇的老手，都是一件劳心劳力的事。写这种固定格式的八股文，你需要“综述”一堆已知的文献结论，还要总结的全面，最新的、最经典的都不能漏。现在大家都在卷论文，每天都有层出不穷的新论文发表，光这一项，就让人薅掉不少头发；方法和结果部分相对好写，讨论部分有的结合已知文献结论，对你的结果逐一展开合理解释和延伸讨论，Discussion部分又难倒一大批人。
ChatGPT经过1700多亿大数据的训练，上知天文下知地理，对于你想要表达的观点和已知文献结论，它能迅速帮你理清逻辑，真的是解放广大科研党的“论文神器”。
如果你也想尝试用ChatGPT来写论文，但是，总是不得其法，它在你手里像个智障。欢迎你来学习SCI期刊编辑娜姐的课程“ChatGPT辅助论文写作到发表”，课程设计是针对论文写作的一整个工作流，每节课都有对应的提示语，用AI帮你写出top级别的论文。经过70+学员检验，好评如潮。
往期干货精选：
ChatGPT助力论文写作：
-
SCI论文写作与发表：
AI进展速递：
Openai新出的文生视频AI Sora，我们有哪些期待？
谷歌Bard更名Gemini，意图超越ChatGPT，现在付费版免费2个月
送福利了!Perplexity Pro免费试用2个月，GPT4可用
2145
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
