大模型时代背景下的期刊文献数据集获取策略-CSDN博客

本文链接：https://blog.csdn.net/2409_87637994/article/details/144115671

数据为王：大模型时代的数据需求与挑战

在人工智能的大模型时代，数据无疑成为了推动技术进步的核心动力。对于不同的大模型对数据种类的需求也不尽相同。通识大模型除需要基本训练的文本语料之外，在针对特殊客户群体，还需要更高质量的数据集；行业大模型应用场景更加聚焦，公开及免费的数据资源、自有数据资源很难满足大模型训练需求，外部付费数据集能够更好的帮助行业模型训练。数据集质量越高、内容越权威对模型训练帮助越大；垂直大模型更不用说，聚焦于特定使用场景，所需训练数据需要更专业。期刊数据数集正好能满足行业大模型及垂直大模型训练时对专业领域文本资料的需求。

说到期刊数据集，目前免费的期刊数据集主要来自于ArXiv和美国国家卫生研究院等官网。ArXiv是一个免费的分发服务和开放获取的数据库，包含物理、数学、计算机科学、定量生物学、定量金融学、统计学、电气工程和系统科学以及经济学等领域的2,235,447篇学术文章。美国国家卫生研究院是美国政府负责生物医学和公共卫生研究的主要机构，支持各种生物医学和行为研究领域的研究，从其官网的“研究&培训”模块能够获取最新的医学研究论文。

以上公开、免费的数据集资源量极其有限，细分到各个领域文献数量就显得更加少。如果仅仅采用这些期刊数据作为大模型训练使用，对于个人用户来说绰绰有余，但对于企业来说就显得捉襟见肘。

如果需要获取大量的、优质的期刊文献数据进行大模型训练，还是得找数据库商。根据公开页面检索发现，目前国内仅维普智图（维普资讯旗下子公司）发布了期刊数据集产品，支持特定数据API获取，或者将这些数据进行本地化部署，且有期刊文献原文和元数据。其他数据库商暂未提供类似数据业务，获取数据还是需要购买数据库，通过账号访问，且访问频率受限，无法满足大模型训练需求。

维普智图期刊文献数据集包含哪些类型数据

经过对维普智图数据商城网站进行检索，发现其主要提供两类数据集，期刊文献原文数据集和期刊文献元数据数据集。另外，其主要按照教育部的学科进行了分类，共分为了13个学科（理、工、文、历史、农、哲学等），分别包含中外文期刊元数据与原文、中外文会议元数据及原文，共计130个数据集。总体来看，期刊元数据包含17个字段，会议元数据包含13个字段，这些字段均做了深度的数据加工，元数据已达到直接使用的程度，无需二次加工。

除以上固定的数据集之外，维普智图还提供个性化定制服务，如果你需要更加细分行业的数据，也可进行数据集定制。并且，还提供了数据采集、清洗、标注等附加服务，以满足用户的多样化需求。