python+selenium爬虫-爬取小说

可达可达鸭mq

已于 2022-07-08 17:49:31 修改

阅读量486

点赞数

分类专栏： python 文章标签： python 爬虫 selenium

于 2022-07-08 16:21:33 首次发布

本文链接：https://blog.csdn.net/mqjiahua/article/details/125680495

版权

本文介绍了如何使用Python结合Selenium库来爬取网络小说。通过导入必要的包，创建类，利用Selenium进行网页元素定位，如通过ID、NAME、XPATH等方式。接着，使用Python将爬取的内容追加写入文件并保存到D盘。最后，通过定位下一页的XPATH实现小说的完整下载。按照文中步骤操作，你可以在D盘找到下载的小说文件。

摘要由CSDN通过智能技术生成

爬取网络小说

首先导包

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By

创建一个类

class Spider:
    page_num = 0 # 标识下载哪一页

    def __init__(self):
        # 创建浏览器对象
        self.driver = webdriver.Chrome()

    def chapter_downloader(self, url):
        # 章节下载器
        # 打开页面
        self.driver.get(url