python知网爬虫论文pdf下载+立即可用（动态爬虫）

最新推荐文章于 2025-03-08 17:44:42 发布

Braylon1002

最新推荐文章于 2025-03-08 17:44:42 发布

阅读量4.3k

点赞数 19

分类专栏：数据挖掘文章标签： python 爬虫 pdf 知网论文

本文链接：https://blog.csdn.net/qq_40742298/article/details/136589093

版权

本文介绍了一段Python代码，使用Selenium库和ChromeDriver在无界面模式下，实现对CNKI学术文献的自动搜索、下载及查看详细信息的功能，包括作者、来源、发表日期等关键信息。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录

- 使用
- 代码

使用

自己工作需要，分享出来，刚刚修改完。
知需要修改keyword就可以完成自动搜索和下载同时翻页。
但是需要安装Chrome，也支持linux爬虫，也要安装linux Chrome非可视化版。

代码

import selenium.webdriver as webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver import Chrome, ChromeOptions
import time
import json
import pandas as pd
import requests

papers_info_list = []
one_paper = {
   }

keyword = "你的query"  # 搜索关键词

# 设置options参数，以开发者模式运行
option = ChromeOptions()
option.add_experimental_option("excludeSwitches", ["enable-automation"])

# 解决报错，设置无界面运行
option.add_argument('--no-sandbox')
option.add_argument('--disable-dev-shm-usage')
option.add_argument('blink-settings=imagesEnabled=false')  # 不加载图片, 提升速度
option.add_argument("--headless")
option.add_argument('--disable-gpu')  # 谷歌文档提到需要加上这个属性来规避bug

user_agent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36"
option.add_argument(f'user-agent={
     user_agent}')

url = "https://kns.cnki.net/kns8s/defaultresult/index?crossids=YSTT4HG0%2CLSTPFY1C%2CJUP3MUPD%2CMPMFIG1A%2CWQ0UVIAA%2CBLZOG7CK%2CEMRPGLPA%2CPWFIRAGL%2CNLBO1Z6R%2CNN3FJMUV&korder=SU&kw=" + str(
    keyword)
driver = webdriver.Edge(option)
driver.get(url

最低0.47元/天解锁文章