【Python+Selenium】输入关键词自动下载论文

本文档介绍如何使用Python的Selenium库自动化下载大量文献。作者在面临手动下载900篇论文的困境时,选择编写程序解决,详细阐述了环境搭建(包括Jupyter和匹配版本的ChromeDriver)、关键代码实现以及可能遇到的问题(如验证码和网络连接需求)。
摘要由CSDN通过智能技术生成

文章目的

最近需要在网上下载一些文献,输入关键词后大概有900篇文献,一个一个下载实在费时费力,所以想着写python程序进行文献自动下载。网上也有博客跟自动下载文献有关,如python 批量下载知网(CNKI)论文,但是代码在用的过程中总是有点问题,所以就自己边学Selenium边学着写爬虫。



环境搭建

本次开发工具使用的是Jupyter+Selenium库,具体的安装步骤不细说了,可以参考其他博客。 需要注意的是,在环境搭建过程中,需要下载一个chromedriver.exe放到与脚本同一个文件夹内,chromedriver.exe需要与电脑里chrome浏览器的版本号相匹配,具体可以参考selenium自动化测试资源整理


所有代码

import os
from time import sleep
from selenium import webdriver
from selenium.webdriver.common.by import By
import pdb

def switch2NextPage(object):
    nextPageURL = object.find_element(by = By.ID, value = "PageNext")
  • 1
    点赞
  • 13
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值