破除SCI至上！评价 AI 科研成果，需要新思路【附报告下载】

 

2020年2月，教育部、科技部印发了《关于规范高等学校SCI论文相关指标使用 树立正确评价导向的若干意见》，明确提出要破除论文“SCI至上”，在学术界引发反响。

 

破除，并非反对。而是要优化学术界的评价方式方法，为人才评定、人才激励、资源配置、学科评估提供更为合理的标准，从而推动科研领域健康发展，树立正确导向。

针对科研，除了论文、影响因子、SCI等指标，还有哪些评价维度和方法？

智源社区针对这一问题做了相关调研。通过分析，我们发现，评价科研成果和影响力有诸多维度，绝非仅论文一个指标。

 

另一方面，由于人工智能具有基础研究、工程、工具和社会影响等四个方面的属性，因此对人工智能领域的评价，应当依据学科特点做适当性调整。

评价AI成果和影响力采用多种方法，根据人工智能研究的不同属性，采用对应的评价维度，将相关产出全部纳入评价体系中。

PPT资料请关注「智源社区」官方公众号，后台回复「科研评价报告」下载完整内容。

---

 

作者：戴一鸣

责编：贾 伟

01

科研评价的基本概念

 

 

科研成果是指通过科学研究活动所获得的产出，包括论文，以及专利、报告、数据、软件、代码等。

科研影响力是指科研成果为学术研究、经济、社会、文化等一系列层面带来的影响。

评价科研的思路分为两种，分别是成果导向和过程导向，每种思路都有对应的评价维度。

02

评价维度和方法

 

 

根据不同的评价维度，国际上目前已经有20多种评价方法（有些限定于某一学科或领域），涵盖对项目、科研人员、科研团队和科研机构的评价。

 

总体上，不同的评价维度和被评价主体，在评价指标的确定上所有区别。报告列举了部分可量化的指标。

 

根据不同的指标，进行评价的方法有所区分，包括定性评价和定量评价两种。此外，自然科学、人文和社会科学，以及艺术等其他学科中的评价指标也有不同的侧重。

 

03

国际科研评价案例

目前，国际上已有很多评价方法，本报告列举了其中一些案例，供读者参考。

 

Buxton和Hanney自1996年提出Payback Framework，通过分析研究活动的早期、中期和长期产出，评价其带来的实际收益，包括了学术贡献和经济效益等多种回报。最早应用于医学领域，但之后扩展到了其他学科。

 

H-index由Jorge Hirsch在2005年提出，基于研究者发表的SCI论文数量和被引数据，通过计算H指数，评价其科研影响力。H-index计算简单方面，结果直观，但仅计算SCI论文，容易造成“唯SCI论”的评价导向。

 

英国高等教育拨款机构从2014年开始使用研究卓越框架（REF）对全英国范围内高校的研究成果和影响力进行评价。评价体系非常精细，专业性很强，结果权威。

 

全球顶级学术杂志《自然》周刊的出版方Springer在2020年提出了Nature Index（自然指数）评价方法，通过统计旗下82个期刊作者的发表论文情况，对作者所在机构和国家地区进行排名。自然指数方法计算较为简单，结果直观，但只涵盖了自然科学领域。

 

04

对AI科研评价的启示

 

由于人工智能具有基础研究、工程、工具和社会四个方面的属性，每个属性都有对应的评价方法。

 

 

我们认为，对人工智能领域的评价方法，一定不能“唯论文至上”。评价AI成果和影响力将采用多种方法，根据人工智能研究的不同属性，采用对应的评价维度，将相关产出全部纳入评价体系中。

 

完整报告，欢迎关注“智源社区”官方微信号，在后台回复“科研评价报告”，下载完整内容。

---

欢迎加入智源社区行业研究群！

 

---