最近导师叫我下载CVPR,ICCV,ECCV会议论文,发现每个期刊都有好几百篇论文。一个一个点击非常耗费时间,正好在学习爬虫,利用爬虫抓取一下网页。
完成老师分配的任务之后将这个代码分享出来,供大家使用和学习,解决下载论文的烦恼。毕竟科技的进步就是使人懒惰,哈哈哈
运行速度和每个人的网速有关,可以先在浏览器中下载一个论文,测一下网速,网速慢的话建议搭载VPN,也有部分论文内存很大,可以中断程序,for循环跳过即可。
我们将提取的PDF链接自动下载论文,然后保存在文件夹中。
认为有用的话请点赞,码字不易,谢谢。
其他爬虫实战请查看:https://blog.csdn.net/qq_42754919/category_10354544.html
1.分析网页
首先打开三个会议期刊的接口:https://openaccess.thecvf.com/menu
我们可以清楚的看到期刊按照年份进行排序,其中ECCV在Other Computer Vision Conferences and Workshops中。