Python + selenium 爬取百度文库Word文本

最新推荐文章于 2024-07-24 17:16:09 发布

shuai_bi_

最新推荐文章于 2024-07-24 17:16:09 发布

阅读量645

点赞数

分类专栏： Python爬虫

本文链接：https://blog.csdn.net/shuai_bi_/article/details/84889139

版权

本文详细介绍了如何使用Python编程语言配合selenium库，有效地爬取百度文库中的Word文档文本，包括必要的步骤和可能遇到的问题解决策略。

摘要由CSDN通过智能技术生成

# -*- coding:utf-8 -*-

import time
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.common.exceptions import NoSuchElementException

chrome_options = Options()
chrome_options.add_argument('--headless')
chrome_options.add_argument('--disable-gpu')
chrome_options.add_argument("--user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.80 Safari/537.36")

driver = webdriver.Chrome(chrome_options=chrome_options)
driver.maximize_window()

url = input("输入文档链接，搞快点：")
driver.get(url)

error_str = ""

try :
    page_num = driver.find_element_by_xpath("//span[@class='page-count']").text

    find_button = driver.find_element_by_xpath("//div[@class='doc-banner-text']")
    driver.execute_script("arguments[0].scrol