点击下方卡片，关注“CVer”公众号
AI/CV重磅干货，第一时间送达
本文转载自：AI科技评论
作者 | 陈彩娴
同行评审还有救吗？一位担任过国际顶会大会主席的知名学者告诉AI科技评论，这种现象确实存在，很多同行都早已察觉，“这些年轻人对科研没有敬畏心，再不整治他们，会把整个行业搞垮。”
近日，Nature又发表了一篇文章，介绍了法国计算机科学家Guillaume Cabanac与Cyril Labbé最新一项研究：他们开发了一个叫做“SciDetect”的软件，专门搜查已发表的计算机程序自动生成论文，准确率高达83.6%！
根据Guillaume Cabanac与Cyril Labbé的研究调查，在计算机科学领域，计算机伪造论文的占比大约是：一百万篇文章中，有75篇论文是由计算机程序SCIgen自动生成的。
更值得注意的是，在最新发表的SCIgen生成论文中，有64%是由中国研究人员“撰写”，22%由印度研究人员“撰写”。
在目前确定有问题的243篇论文中，只有19％被撤回：12篇文章被正式撤回，34篇文章被悄悄撤稿。包括IEEE在内的一些出版商仍然继续出售197篇疑似SCIgen生成的文章，甚至没有给出任何警告。
科学是一个循序渐进的过程，新的发现与进步往往是建立在已有科学文献的基础上。也就是说，未来科学成果的质量与可信度取决于以往发表研究的正确性。虚假文章的泛滥，正在影响人们对科学的信任！
1
研究背景
这个问题始于2005年。那一年，就读于麻省理工学院的三名计算机博士生Jeremy Stribling、Daniel Aguayo与Maxwell Krohn出于娱乐目的，创建了一个叫做“SCIgen”的论文生成软件，还合写了一篇名为“Rooter: a methodology for the typical unification of access points and redundancy”的学术论文，投到学术会议WMSCI上，居然还被接收了！
论文链接：https://pdos.csail.mit.edu/archive/scigen/rooter.pdf
事实上，这个计算机程序只是将单词进行简单的拼凑，随机生成标题、正文与图表，文章的实验结果也是错误的，人类读者很容易就能发现这些文章的内容是胡说八道。
由计算机程序写的水文居然被举办已超过10年的会议接收，暴露了一些学术会议不经同行评审、随意接收毫无学术价值的文章的现象。这个事件在当时引发了全网的曝光与讨论。
但是，这个软件可以免费下载，所有人都可以使用它。
七年过后，也就是2012年，法国计算机科学家Cyril Labbé又在IEEE所举办的会议上发现了85篇由SCIgen生成的论文，之后又在IEEE与Springer上找到了120多篇由SCIgen伪造的论文。这些论文有些被撤回，有些被删除。
为了纠正学术界的歪风邪气，Labbé创立了一个网站，人们可以上传论文、来检查该论文是否疑似为SCIgen发明的文章。他还出资赞助了一个博士生项目，开发出一款能够帮助查找疑似SCIgen生成论文的软件，叫做SciDetect。
网站地址：http://scigendetection.imag.fr/main.php
一开始，Labbé是通过在论文草稿中搜索SCIgen词汇表中的典型单词来判断。后来，他与来自法国图卢兹大学的计算机科学家Guillaume Cabanac想到了一个新的方法：查找SCIgen输出中的典型短语。
总的来说，Cabanac与Labbé搜索这些计算机程序生成的文章时主要用到了四个方法：1）基于关键词汇；2）基于语法结构的相似性；3）借鉴Springer在2018年设计的典型短语检测方法；4）基于论文参考文献。
从去年五月开始，他和Cabanac在Dimensions数据库包含的数百万篇论文中搜索了此类短语。定位到此类短语后，他们又进行手动检查，结果发现了243条部分或全部由SCIgen创建的废话，并于5月25日在ASIS&T上发表了他们的调查结果。
论文链接：https://asistdl.onlinelibrary.wiley.com/doi/10.1002/asi.24495
这些SCIgen文章发表于2008年至2020年，出现在不同期刊、会议与预印本网站上，且大部分都属于计算机科学领域。有些论文开放阅读，有些则需要权限。
目前，有46篇文章已经从它们首次发表的网站上被撤下或删除。
之后，他们又发现了20篇这类论文，包括由MATHgen（一款生成数学研究论文的软件）与SBIR（一款生成研究提案的软件）创建的垃圾文章。
2
调查结果
根据Labbé等人对论文作者背景的调查，大部分最新发表的SCIgen生成论文都是由中国（64%）与印度（22%）的研究人员撰写。
当然，其中也可能有些论文是由别人杜撰、以他们的名义提交，但难以查究。几篇论文的一作告诉Labbé和Cabanac，他提交SCIgen生成的论文，是为了“设局”。
但是，有些论文似乎经过了认真的参考文献书单编辑，这表明：有些SCIgen生成的文章可能是为了夸大某位研究者的论文引用次数，从而提高他们的简历含金量。
研究人员发现，目前只有两篇被曝光的SCIgen论文没有被IEEE撤回（正在审核），以及一篇包含由MATHgen生成内容的论文没有被Springer论文撤回。
有些出版商面临的情况很糟糕。英国物理学会电子期刊数据库旗下的子公司IOP Publishing谈到，在没有明确证据的情况下，他们撤回了10篇论文，并正在调查为什么同行评审没有发现这些论文。IOP的经理Kim Eggleton说：“我们有合理的证据怀疑，这些论文的同行评审没有达到合格标准。”
出版最多SCIgen文章的是瑞士出版商Trans Tech Publications，他们出版了57篇SCIgen论文。此外，印度的Blue Eyes Intelligence Engineering and Sciences Publication（BEIESP）出版了54篇；法国出版商Atlantis Press（今年3月被Springer Nature收购）出版了39篇。
Trans Tech Publications和Atlantis的工作人员都对《Nature》表示，他们正在调查中，并正在撤回这些文章，而BEIESP的发言人表示，他们只出版经过同行评审与剽窃检查的原创文章。
另外，研究发现，SSRN上发表了16篇SCIgen文章。SSRN是一款预印服务器，文章在分享之前没有经过同行评审。SSRN的发言人表示，他们正在调查这个问题，并强调，SSRN对一般的预印论文进行了“有限筛选”（对医疗论文则进行了“高级筛选”）。
Cabanac担心某些出版商会以不透明的方式处理此类论文。例如，IEEE已从其网站上删除了一些SCIgen论文，但没有下达正式的撤回通知。Cabanac还指出，研究论文有时候会从SSRN中消失，而这些变动不会记录下来。
IEEE发言人表示，他们删除论文或下达撤回通知，是“取决于我们的评估结果”。SSRN没有回复有关其撤回或删除论文政策的问题。
SCIgen生成的论文数量其实相对较少：根据数据显示，Labbé和Cabanac估计，在计算机科学领域，100万篇论文中才有75篇SCIgen论文。与“论文工厂”造成的学术不端问题相比，SCIgen造成的乱象还不算严重。
大家怎么看？
相关阅读：
Nature起底中国论文造假，问题普遍性正在影响中国学术信誉
参考链接：
1. https://doi.org/10.1038/d41586-021-01436-7
2. https://www.nature.com/articles/d41586-021-00733-5
3. https://www.nature.com/articles/nature03653
4. https://www.nature.com/news/publishers-withdraw-more-than-120-gibberish-papers-1.14763
5. https://www.nature.com/news/publishers-withdraw-more-than-120-gibberish-papers-1.14763
CVPR和Transformer资料下载
后台回复：CVPR2021，即可下载CVPR 2021论文和代码开源的论文合集
后台回复：Transformer综述，即可下载最新的两篇Transformer综述PDF
CVer-Transformer交流群成立
扫码添加CVer助手，可申请加入CVer-Transformer 微信交流群，方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch和TensorFlow等群。
一定要备注：研究方向+地点+学校/公司+昵称（如Transformer+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群
▲长按加小助手微信，进交流群▲点击上方卡片，关注CVer公众号
整理不易，请给CVer点赞和在看
6858
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
