教你爬虫单次下载小说章节

跟爬取图片类似，思路是找url，再获取想要的内容并储存。

import requests#引用库
from lxml import etree#引用库
import os#引用库
if not os.path.exists('./沧园图/'):#先判断是否有叫沧园图的文件，若没有则创建一个当前目录下名为沧园图的文件，
    os.makedirs('./沧园图/')
url='http://www.biquw.com/book/19877/8484359.html'#找到你想爬取小说章节网站链接
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.96 Safari/537.36 Edg/88.0.705.56'}#进行UA伪装
r=requests.get(url=url,headers=headers).text.encode(encoding='ISO-8859-1').decode()#发送请求和获得响应数据
r1=etree.HTML(r,etree.HTMLParser())#解析HTML文档
a=r1.xpath('//div[@id="htmlContent"]/text()');z=''#用xpath匹配文本
b=r1.xpath('//title/text()')#用xpath匹配文本内容的名字
for name in b:#把文本内容的名字遍历出来
    pass
for i in a:#将列表储存的文本遍历出来并拼接
    z+=i#增强字符
with open('./沧园图/'+name+'.txt','w',encoding='utf-8') as fp:#永久化储存
    fp.write(z)

小白一个，恳请大佬指点。