批量下载论文（IEEE,ICCV,CVPR，IJCAI）

最新推荐文章于 2024-08-06 20:32:27 发布

遇见一只执着的猴子

最新推荐文章于 2024-08-06 20:32:27 发布

阅读量9.4k

点赞数 10

本文链接：https://blog.csdn.net/qq_26564783/article/details/90743918

版权

本文介绍了如何使用代码自动化批量下载IEEE, ICCV, CVPR和IJCAI会议的论文。对于ICCV和CVPR，提供了官方网址的简单下载方法；而对于IEEE论文，由于其id获取复杂，作者分享了通过论文列表获取链接并使用多线程下载的策略，同时提醒注意高频率请求可能遭致服务器屏蔽。" 103985407,7521083,FATE联邦学习框架详解及使用指南,"['联邦学习', '算法框架', '数据加密', '分布式', '机器学习', 'Docker']

摘要由CSDN通过智能技术生成

最近应导师要求，下载一些论文，但是一篇篇去点击下载，比较麻烦，尤其是批量下载时，也太累了。然后，手动写了些代码，可以自动拉一些论文下来。以下是方法介绍。在文章末尾附了git源码。

1.ICCV,CVPR,IJCAI论文下载

ICCV和CVPR两大会议的影响力比较大，下载这两个会议论文的人也比较多。有官方网址统一提供下载，因此下载这两大会议的论文还是比较简单。通常只需要打开下载网址：（http://openaccess.thecvf.com/ ），可以看到系列论文的下载列表。如果是下载少数几篇，建议手动完全可以分分钟解决这个问题。但是批量下载，还是建议参考以下方法。

# coding:utf-8
import re
import requests
import urllib
import os
import threading
import pdb
import os

def getIJCAIPapers(ctype,year,minnum,maxnum):
    url = 'https://www.ijcai.org/proceedings/2018/%04d.pdf'
    # maxnum = 870
    localDir = 'E:\\' + ctype + year + '\\'
    for i in range(minnum,maxnum+1):
        urlpath = url % (i)
        file_path = localDir+'%04d.pdf'% (i)
        if not os.path.exists(file_path):
        	os.makedirs(file_path)
        print('[' + str(i) + '/' + str(maxnum) + "]  Downloading -> " + file_path)
        try:
            urllib.request.urlretrieve(urlpath, file_path)
        except Exception as err:
            print(urlpath,' error :',err)
            continue
    print("all download finished")

def get_CVPR_ICCV_Papers(ctype,year):
    # get web context
    r = requests.get('http://openaccess.the