Python+Selenium爬取小说 ---- 新手入门必看

前言

本文针对Python+Selenium爬取小说，帮助初学者理解其中逻辑与细节问题；同时，也是对自己学习的记录。

---

一、如何构建Python程序书写逻辑

请观察如下流程图，是否有些许灵感？

 1. 起始页为小说章节列表，循环获取每一章节内容知识点：

• 进入网页：get（url）
• 定位元素：find_element（章节名、正文）、find_elements（每章节链接组成的多元素列表）
• 写入文件：with open("filename", "a")    #  注意必须a追加写，w会覆盖

2. 判断返回列表目录之后，是否存在“下一页”提交框

• 定位方法：find_elements ----------------当列表为空时，程序不会报错

二、使用步骤

1.引入库

from selenium import webdriver
from selenium.webdriv