python爬虫获取小说根据正文调用函数传入章节地址列表_python爬虫之小说章节获取，聊斋志异小说完整版...

“写鬼写妖高人一等，刺贪刺虐入骨三分。”

没找到聊斋志异完整版的txt文档，那就把在线阅读的文章抓下来吧。

开发环境

python3.7

requests模块

lxml模块

获取分析

找到聊斋志异的小说网站。

通过查看源码与分析小说每一章的URL链接发现，构成每一章的URL链接其实是通过小说网站URL链接的前缀+每一章的章节属性得到。

#获取章节链接

for name0 in url2:

name = name0.xpath("./a/text()")[0]

urlhref = name0.xpath("./a/@href")[0]

finurl = "https://www.sbkk88.com" + urlhref

获取到小说每一章的URL链接后分析章节内容网页，发现是静态页面，直接通过requests.get()方法就获取到。

#解析，获取内容

response2 = requests.get(finurl,headers = headers).content.decode('gbk')

html = etree.HTML(response2)

cons = html.xpath("//*[@id='f_article']/p")

for one in cons:

essay = []

conss = one.xpath(".//text()")

for sentence in conss:

if sentence == "一":

pass

else:

essay.append(sentence)

最后将爬取到的内容写入.txt文本，就能得到一本完整的聊斋志异小说！

结果展示：

聊斋志异小说

现在就能阅读整本的聊斋志异白话文小说了。