qq_47155092的博客

原创 Python爬虫练习

Python爬虫实例爬取网络小说并保存至txt文件中 爬取网络小说并保存至txt文件中 简单梳理下爬取思路： 1、明确想要爬取的小说网站，查看网页源代码 2、分析网页源码的特点，明确章节页的标题、正文所在标签的位置 3、导入需要用到的库文件 4、获取目录页、章节页URL并发送请求 5、解析章节页正文内容并剔除冗余部分 6、将爬取到的章节正文写入txt文件中 完整代码如下： #导入库文件 import requests from bs4 import BeautifulSoup #获取章节页并发送请求 def