武夷山 | 谈谈什么样的科技评价研究成果算是好成果

以下文章来源于中国高校科技期刊研究会 ，作者武夷山

谈谈什么样的科技评价研究成果

算是好成果

——《基于信息熵的科技学术期刊评价方法研究》序（节选）

武夷山

引用格式：马峥.基于信息熵的科技学术期刊评价方法研究[M].北京：科学技术文献出版社，2021.

我个人认为，这本书的内容有一点是值得特别赞许的，即马峥实质上采用了“反事实方法”来进行科技期刊评价，尽管他自己当初不一定意识到了这一点。

反事实方法便是采用“如果怎样，便会如何？”（What if）的思想实验。反事实方法是可以在科技评价领域大显身手的。举个例子，美国国会政府问责办公室（GAO）调查联邦政府“研发支出税收优惠措施”的效果时，曾向很多企业发问：“如果没有这一措施，贵公司的研发支出会不会少一些？”这是一个反事实的提问。绝大多数企业的回答是：“如果我们不加强研发投资，怎么能获得竞争优势呢？不管联邦政府有没有这一措施，我们的研发支出是不会少的！当然，我们对这一措施是支持的”。研究结论是：推出这一措施的目的是激励企业进行更多研发投资，既然多数企业并未因此而增加研发投资，就可以认为联邦政府是白忙活了。

当马峥与我讨论选题思路（即利用信息熵来评价科技学术期刊）时，我突然意识到，他打算探索的方法实质上属于反事实方法：将待评价期刊从由一批期刊构成的知识系统中抽除（抽除是不可能的，因而是反事实的），看看整个知识系统的熵是增加了还是减少了。如果系统的熵减少了，说明该期刊对知识系统做出了正面贡献。意识到这一点，我非常兴奋，就坚定地支持这一选题。

按照这样的思路，马峥采集了WOS、EI等外文数据库和中信所自建的“中国科技论文引文数据库”的大量文献数据，验证了论文思路的可行性，取得了较令人满意的结果。

在此顺便说一点点题外话（相对于马峥的著作而言），即什么样的科技评价研究成果算是好成果？

在自然科学领域，发现了自然规律或向这样的发现逼近的研究成果是毫无争议的好成果。我认为，在人文社科领域，好的研究成果除了具有学术意义外，还应能引导好的行为。将规律摸清，并据此规范、影响人的行为，是一种作用模式；有时候，尚未深入到把握规律的程度，或者不一定存在着像自然规律那么硬的规律，但研究过程中产生的半成品也能引导人的行为向好的方面转变。但是迄今为止，人们尚不太注意第二种影响行为的路径。

举个例子，我们中信所科学计量学研究团队在国家自然科学基金项目“论文零被引的时间演化规律、影响因素及其应用研究”，其任务之一是识别潜在的“睡美人”（零被引文献），并将其尽早唤醒。对唤醒睡美人做出重大贡献的施引文献称为“王子文献”。我们曾长期探索识别出潜在睡美人文献，并尽早加以推荐，但迄今的研究表明，这条路未必能走通。

既然引导良性行为是人文社科优秀成果的判据之一，那么，如果上述的路走不通，我们不妨退而求其次，探索另一条路，即培养“王子”。设想一下，当识别出了足够多的“王子文献”后，可同时向这些“王子文献”的作者（“王子”）和对照组作者发放问卷，调查“王子”是否有不同于对照组的共同学术行为模式。如果有，我们将这些模式宣示出来，则有志于做“王子”的学者会自觉不自觉地向我们介绍的王子行为模式上靠。这样，我们就实质上为培养“王子”做出了间接贡献。

找出“王子文献”的快速准确识别方法，是纯学术研究；诱导更多的学者成为“王子”，则是通过研究来影响行为的第二种路径。

科技评价研究是典型的可以而且应该影响人的行为的学术领域。我们假想一种情景：某研究通过统计分析，发现标题较长的科技论文能获得较多引用。于是，某些作者看到这样的“研究成果”后，为了提高自己文章的被引用次数，就刻意将标题抻长。在这种情况下，那个成果客观上引导了不太好的行为。

我们再假想一个研究课题：“固定收入较高+义务性学术劳动”与“固定收入较低+有偿学术劳动”这两种模式，哪一种的长期效果更好?发达国家主要采用的是前一种模式，我国目前主要是后一种模式，大家心知肚明。假定研究结论是斩钉截铁地认可前一模式，并使相关部门都能制定更加务实、更加协调、更加能调动科研人员积极性与创造性的政策条规，则这样的研究亦可彪炳史册了。

马峥也好，其他科学计量学研究人员也好，有谁愿意迎接类似的挑战呢？我期待着。

● 《基于信息熵的科技学术期刊评价方法研究》●

作 者 简 介

马峥，博士，1999年进入中国科学技术信息研究所工作，现任科学计量与评价研究中心副主任、研究员。主要研究方向是情报学和科学计量学。负责中国科技论文统计与分析工作、负责“中国科技核心期刊”遴选评价工作、主编《中国科技期刊引证报告》。任中国科技期刊编辑学会常务理事、中国期刊协会常务理事。任《编辑学报》《中国科技术语》编委。

购买本书请复制以下链接并用浏览器打开：

https://m.tb.cn/htk=fyGN21LBMPd.fk3vf7o?

来源：“中国高校科技期刊研究会”微信公众号