利用 doi 批量下载 pdf 文献（代码亲测好用）

最新推荐文章于 2025-04-02 22:32:57 发布
最新推荐文章于 2025-04-02 22:32:57 发布
阅读量2.4k 收藏 27
点赞数 32
文章标签： pdf
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_51524504/article/details/145764266
版权

文章目录

简介

  • 利用 doi 批量下载 pdf 文献。
  • 只需要准备包含 Article Title 和 DOI 两列的 excel 即可。

github 地址：https://github.com/tangpan360/download_papers

使用逻辑

  1. 从 wos 导出含有文献名和 doi 的 excel 文件（savedrecs.xls），或自己按需要的格式整理成 excel；
  2. 将 savedrecs.xls 放入文件夹 xls_folder 中；
  3. 直接运行 download.py 即可。

文件放置结构

批量下载文献脚本文件夹
├── xls_folder
│   └── savedrecs.xls
└── download.py
  • savedrecs.xls excel 文件的内容格式如下（注意代码中的 excel 文件的后缀名是：.xls，如果你用的excel 后缀名是 .xlsx，注意在代码中的对应部分进行修改）：
Article TitleDOI
Construction of a synthetic Saccharomyces cerevisiae pan-genome neo-chromosome10.1038/s41467-022-31305-4
Analysis of queuosine and 2-thio tRNA modifications by high throughput sequencing10.1093/nar/gkac517
A multiplex platform for small RNA sequencing elucidates multifaceted tRNA stress response and translational regulation10.1038/s41467-022-30261-3
De novo assembly and delivery to mouse cells of a 101 kb functional human gene10.1093/genetics/iyab038
An isocaloric moderately high-fat diet extends lifespan in male rats and Drosophila10.1016/j.cmet.2020.12.017
  • download.py 文件内容：
# download.py
import requests
from bs4 import BeautifulSoup
import os
import threading
import pandas as pd
import re
from queue import Queue


# 清理文件名中的非法字符
def clean_filename(title):
    illegal_chars = r'[\\/:*?"<>|]'
    return re.sub(illegal_chars, '', title)


# 下载文献的函数
def download_paper(doi_title_queue, success_log, error_log, failed_dois, sci_hub_domains, head, download_folder):
    while not doi_title_queue.empty():
        doi, title = doi_title_queue.get()  # 从队列中获取 DOI 和标题

        if not doi:  # 如果 DOI 为空
            error_log.append(f"{title}\t没有 DOI。\n")  # 记录没有 DOI 的文献
            failed_dois.append((title, 'No DOI'))  # 将没有 DOI 的文献标题和说明记录到 failed_dois 中
            doi_title_queue.task_done()  # 任务完成
            continue  # 跳过这篇文献

        download_url = None
        for domain in sci_hub_domains:
            url = domain + doi + "#"
            try:
                r = requests.get(url, headers=head, timeout=15)
                r.raise_for_status()
                soup = BeautifulSoup(r.text, "html.parser")

                if soup.iframe is None and soup.embed:
                    download_url = "https:" + soup.embed.attrs.get("src", "")
                elif soup.iframe:
                    download_url = soup.iframe.attrs.get("src", "")

                if download_url:
                    print(f"{doi}\t正在下载\n下载链接为\t" + download_url)
                    download_r = requests.get(download_url, headers=head, timeout=15)
                    download_r.raise_for_status()

                    file_name = clean_filename(title) + ".pdf"
                    file_path = os.path.join(download_folder, file_name)
                    with open(file_path, "wb+") as temp:
                        temp.write(download_r.content)

                    success_log.append(f"{doi}\t下载成功.\n")
                    print(f"{doi}\t文献下载成功.\n")
                    break

            except requests.exceptions.RequestException as e:
                error_log.append(f"{doi}\t下载失败! 错误信息: {str(e)}\n")
                continue

        if not download_url:
            error_log.append(f"{doi}\t下载失败! 无法从任何Sci-Hub域名获取文献.\n")
            failed_dois.append((title, doi))  # 将失败的文献标题和 DOI 记录到 failed_dois 中
        doi_title_queue.task_done()


def main():
    # 配置变量
    xls_file = './xls_folder/savedrecs.xls'
    download_folder = './download_papers/'
    sci_hub_domains = [
        "https://www.sci-hub.ren/",
        "https://sci-hub.hk/",
        "https://sci-hub.se/",
        "https://sci-hub.st/",
        "https://sci-hub.la/",
        "https://sci-hub.cat/",
        "https://sci-hub.ee/",
        "https://www.tesble.com/"
    ]
    head = {
        "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.117 Safari/537.36"
    }
    num_threads = 5

    # 创建保存下载文件的文件夹
    if not os.path.exists(download_folder):
        os.makedirs(download_folder)

    # 读取Excel文件
    df = pd.read_excel(xls_file)

    # 提取DOI列和文献标题列
    doi_list = df['DOI'].dropna().tolist()
    titles = df['Article Title'].dropna().tolist()

    # 创建一个线程安全的队列
    doi_title_queue = Queue()

    # 将 DOI 和标题一一对应地放入队列中
    for doi, title in zip(doi_list, titles):
        doi_title_queue.put((doi, title))

    # 成功与失败的记录
    success_log = []
    error_log = []
    failed_dois = []  # 使用列表来存储失败的 DOI 和文献标题

    # 启动多线程下载文献
    threads = []
    for _ in range(num_threads):
        t = threading.Thread(target=download_paper, args=(
        doi_title_queue, success_log, error_log, failed_dois, sci_hub_domains, head, download_folder))
        threads.append(t)

    # 启动所有线程
    for t in threads:
        t.start()

    # 等待所有线程完成
    for t in threads:
        t.join()

    # 记录成功和失败的日志
    with open(os.path.join("./download_log.txt"), "w", encoding="utf-8") as log_file:
        log_file.write("成功下载的DOI：\n")
        log_file.writelines(success_log)
        log_file.write("\n下载失败的DOI：\n")
        log_file.writelines(error_log)

    # 输出下载失败的文献（包括没有 DOI 的文献）
    with open(os.path.join("./failed_dois.txt"), "w", encoding="utf-8") as failed_file:
        failed_file.write("以下DOI下载失败，请手动检查资源：\n")
        for title, doi in failed_dois:
            if doi == 'No DOI':
                failed_file.write(f"{title}\t没有 DOI\n")  # 没有 DOI 的文献
            else:
                failed_file.write(f"{title}\t{doi}\n")  # 有 DOI 但下载失败的文献

    print("所有任务完成！")


# 确保脚本只有在作为主程序运行时才执行下载操作
if __name__ == '__main__':
    main()

图文展示具体步骤

1. 准备包含文献名和对应 doi 的 excel 文件

有两种方式都可以：从 wos 导出 excel 文件，或者自己按格式整理对应的 excel 文件。

1. 方式一：从 wos 导出 excel

  • 进入 wos 网址：https://webofscience.clarivate.cn/wos/alldb/basic-search

  • 如下图，输入要搜索的文章：
    在这里插入图片描述

  • 检索之后可以选择多篇自己检索的文章如下图中的1，为了方便，我直接用这篇文章的 112 篇 references 来演示接下来的批量下载操作，如图中2所示点击 112：
    在这里插入图片描述

  • 全选之后如图所示，导出选中的 107 篇参考文献的 excel 文件（由于一些原因，存在一些文献不可选）： 在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

  • 打开保存的 excel 文件 savedrecs.xls 可以看到包含 Article Title 和 DOI 两列（有其它列也无所谓，只要包含这两列即可）：
    在这里插入图片描述

  • 至此，所需要的 excel 文件准备完成。

2. 方式二：自己按格式整理对应的 excel

不从 wos 导出也可以使用，只需要有包含下面两列内容的 excel 文件即可。从 wos 导出的 excel 文件有很多列，因为包含这两列，所以导出之后直接可用。

Article TitleDOI
Construction of a synthetic Saccharomyces cerevisiae pan-genome neo-chromosome10.1038/s41467-022-31305-4
Analysis of queuosine and 2-thio tRNA modifications by high throughput sequencing10.1093/nar/gkac517
A multiplex platform for small RNA sequencing elucidates multifaceted tRNA stress response and translational regulation10.1038/s41467-022-30261-3
De novo assembly and delivery to mouse cells of a 101 kb functional human gene10.1093/genetics/iyab038
An isocaloric moderately high-fat diet extends lifespan in male rats and Drosophila10.1016/j.cmet.2020.12.017

2. 运行 downloader.py 程序执行批量下载

  • 在终端输入命令执行代码：
    python download.py

在这里插入图片描述

  • 则可以在 download_papers 文件夹中看到下载的文件：

在这里插入图片描述

  • 同时还生成了下载日志以及下载失败需要手动下载的记录文件：
    在这里插入图片描述

3. 检查失败日志，进行手动下载

检查日志内容，对未下载成功的进行手动查询下载：

在这里插入图片描述

基于DOI批量下载文献～
CPYaaa1的博客
09-07 927
error_file.write(f"下载链接: {download_url}\n")print(f"正在下载 {doi}...\n下载链接: {download_url}")cancel_event (threading.Event): 用于取消下载的事件信号。error_file.write(f"错误信息: {e}\n\n")print(f"下载失败: {doi}, 错误信息: {e}")print(f"下载成功: {doi}")print(f"取消下载: {doi}")
基于DOI码的批量文献下载脚本
weixin_40572034的博客
08-09 9694
import requests from bs4 import BeautifulSoup path = ".\\" #与.py文件同路径保存 f = open("doi.txt", "r", encoding="utf-8") #存放DOI码的.txt文件中，每行存放一个文献的DOI码，完毕须换行（最后一个也须换行！） for line in f.readlines(): line = line[:-1] #去换行符 #print(line) url = "https://www.sci-hub.
批量下载PDF，python源码
02-25
python源码，批量下载PDF，让你的工作不在发愁，提高效率
爬取文献的url_doi文献下载_科研_文献_文献搜索_
10-02
爬取指定文献的DOI值并进一步免费下载该文献
用 MCP 让大模型自动批量解读文献，保姆级教程来了！
最新发布
Datawhale
04-02 535
MCP 就负责把 AI 模型需要的所有信息（比如要查的资料、要用的工具、之前的聊天记录等等）都准备好，打包成一个大礼包（上下文），交给 AI 模型。这样，AI 模型就不用学那么多外语了，只需要跟 MCP 说就行。MCP 作为「模型上下文协议」，可以看成专门为 AI 模型设计生态系统服务，它通过一个标准化的协议来管理和交换 AI 模型所需的各种信息，从而实现与各种外部服务和数据源的无缝集成。要加新的功能，比如查天气、订机票、下载文献等，只需要让 MCP 学会跟新的外部世界打交道就行，不用改 AI 模型本身。
批量下载文献
衣者2024的博客
04-05 1627
利用文献管理软件 EndNote 将大量文献的 DOI 导出，再利用 Python 或其它方式实现文献的批量下载。
利用excel内的doi和python批量下载外文文献
d_158的博客
06-09 6421
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、将选择的文献用excel导出1.文献按Excel导出2. 查看DOI所在列（我的在BC列）二、利用python批量下载Excel表中文献2.代码总结 前言 利用web of science 批量获取doi至表格，之后通过运行python代码，自动批量下载文献 提示：其中，python代码是根据WuGenQiang（《通过doi下载单个文献pdf》)的代码修改的（本人python没学多少，所以代码不规范，见谅）。 一、将选
Web of Science论文文献批量下载
热门推荐
weixin_44353333的博客
01-15 1万+
首先声明本文所用工具来自于Leovan大神开发的，截止至2024年1月15日发布的版本是6.2.4版本，更新版本请在github自行检索。该方法的论文内容来源于sci-hub数据库，对于数据库中尚未收录的论文，可能存在下载失败情况。本文方法仅供分享工具，不涉及商业用途，如有侵权请及时告知作者删除。
批量下载文献中的参考文献
凌云
01-05 4911
批量下载文献中的参考文献 这里写目录标题批量下载文献中的参考文献一级目录二级目录三级目录一、下载所有你需要文献的引文题录二、导入到文献管理软件中**点击导入文献，上一步已经下载的，如果不会EndNote导入题录的话也可以直接拖进去或者百度咯****导入文献之后，点击”编辑“——”输出样式“——”新建样式“——”模板“——“插入字段”，选择DOI，之后退出的时候保存，自己设置一个名字就好了****之后选择自己需要导出的文献，点击Preview,可以到时参考文献的引用格式，并不是我们所需要的DOI号。之后选中所
如何将一篇文献后的参考文献全部导入endnote一次性全部下载下来
04-12
如何将一篇文献后的参考文献全部导入endnote一次性全部下载下来 如何将一篇文献后的参考文献全部导入endnote一次性全部下载下来
使用scihub2pdf，在scihub通过doi批量下载文献pdf格式
weixin_42338804的博客
04-11 2309
最近要批量下载某个方向的一些文献，准备通过sci-hub来下载，在找python爬虫的方式下载文献的时候发现了scihub2pdf工具。 一开始是看到这篇文章：利用python下载scihub成文献为PDF，在里面看到了一个批量下载scihub文献的的工具：scihub2pdf 我是在ubuntu系统里操作的安装的方式和官网里的一样： Install $ sudo python /usr/bin/pip install scihub2pdf Linux Using npm $ sudo apt-get i
DOI 批量文献 pdf 下载
04-23
好的，您需要批量下载文献的PDF文件，我能理解您的需求。可以通过一些工具来实现，例如使用Python编程语言中的pyperclip和requests库进行自动化下载。具体步骤如下： 1. 使用DOI查询工具来获得需要下载的文献的DOI...
Python Selenium自动化导出新版WOS(web of science)检索结果
m0_67402970的博客
03-08 1327
写在前面 有的时候需要某个领域的所有论文数据，此时web of science数据库检索的论文结果可能动辄上万甚至几十万，然而网站限制单次导出条数为1000（如果需要引文字段则仅500，仅导出为txt可包含引用详细信息），需要导出几十上百次，手动做太费神，因此写一个爬虫脚本自动导出。 2022.1.6旧版web of science正式下线了，这里是对新版网站重新开发的自动化导出代码。 使用本代码需要： 国内大学学生账号(登录wos使用) 火狐浏览器 python以及selenium包 geckodriv
那些精贵的文献资源下载网址经验总结
技术杂谈
02-27 2169
本文来自作者 齐勇 在 GitChat 上分享 「文献资源下载网址经验总结」编辑 | 哈比本文主要涉及以下几个方面：在学术研究中，中英文论文与书籍的下载网址经验总结。如何更好地管理自己的论文、学习笔记...
【爬虫专区】批量下载PDF （无反爬）
weixin_46301214的博客
01-30 2535
先抓包拿到接口url，请求一次就能获取到了所有的数据。然后一个循环批量下载数据即可，其实没啥难度的。这次爬取的是绿盟的威胁情报的PDF。天命：只要没反爬，一切都简单。
通过doi下载论文文献方法
zugennet的博客
05-25 4151
进入sci-hub里面，搜索doi编号，下载即可，由于sci-hub网站经常变更域名，所以，织梦图书馆建了一个sci-hub网页，可以自动检测sci-hub最新网址，这样就不用担心失效找不到了。论文下载无非就是免费和收费两种，收费也不用到官网去购买，因为贵的一篇的要好几元，可以到织梦图书馆这类，把100多所高校的图书馆聚合在一起的网站去下载，几十块钱可以下一个月。例如，本文示例中要下载的文献，确定此文献在ieee数据库里面，只需要登录织梦图书馆，然后，通过“库搜”进入下载即可。”来找文献所在的数据库。
用DOI号批量爬取开源数据库文献数据（含文献 下载）
wqq654的博客
07-22 3877
在有DOI号的前提下，使用八爪鱼循环爬取DOI号关联文献基本信息并下载文献。
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值