【科学文献计量】Web of Science纯文本数据采集，转化为python中的DataFrame格式，并存放到MySQL数据库

lys_828

已于 2022-07-06 16:20:30 修改

阅读量1k

点赞数

分类专栏： python科学计量数据可视化文章标签： Web of science 纯文本数据 MySQL pandas python

于 2022-03-22 16:49:45 首次发布

本文链接：https://blog.csdn.net/lys_828/article/details/123664469

版权

python科学计量数据可视化专栏收录该内容

59 篇文章 51 订阅 ¥49.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了如何从Web of Science平台采集纯文本数据，将其转化为Python DataFrame并存储到MySQL数据库中，以及如何从数据库中读取数据。详细步骤包括数据检索、导出、使用pandas进行数据处理和利用sqlalchemy进行数据库交互。

摘要由CSDN通过智能技术生成

Web of Science纯文本数据采集，转化为python中的DataFrame格式，并存放到MySQL数据库

1 Web of Science数据采集
2 数据加载到python中并进行DataFrame类型转化
3 将DataFrame数据存放到MySQL数据库
4 将MySQL数据库中的表格读取到python中

手动反爬虫：原博地址 https://blog.csdn.net/lys_828/article/details/123664469

 知识梳理不易，请尊重劳动成果，文章仅发布在CSDN网站上，在其他网站看到该博文均属于未经作者授权的恶意爬取信息

1 Web of Science数据采集

Web of Science是科睿唯安公式出版的在线科学数据平台。其中包含了Web of Science核心数据集、CSCD、RCI以及德温特专利数据等子数据库。如果要采集来自Web of Science的数据，需要用户所在的机构付费订阅。付费订阅该数据库的用户可以通过校园网直接访问该数据库，或者使用单位提供的VPN在校外访问该数据库。采集数据具体步骤如下。

（1）登录Web of Science数据平台。界面中默认选择“Web of Science核心合集”，子集数据显示为“引文索引：All”

在这里插入图片描述
也可以点击选