前言
本文针对Python+Selenium爬取小说,帮助初学者理解其中逻辑与细节问题;同时,也是对自己学习的记录。
一、如何构建Python程序书写逻辑
请观察如下流程图,是否有些许灵感?
1. 起始页为小说章节列表,循环获取每一章节内容知识点:
- 进入网页:get(url)
- 定位元素:find_element(章节名、正文)、find_elements(每章节链接组成的多元素列表)
- 写入文件:with open("filename", "a") # 注意必须a追加写,w会覆盖
2. 判断返回列表目录之后,是否存在“下一页”提交框
- 定位方法:find_elements ----------------当列表为空时,程序不会报错
二、使用步骤
1.引入库
from selenium import webdriver
from selenium.webdriver.common.b