爬取小说,分段保存

这段代码演示了如何使用Python爬取网络小说,并将每一章的内容保存为单独的文本文件。通过BeautifulSoup解析HTML,获取小说章节链接,然后下载每个章节的文本,最后将内容写入对应章节编号的文本文件。
摘要由CSDN通过智能技术生成

代码可以运行,可以爬取小说,可以保存到本地,但还有不足,请教大侠,怎么分段保存?
每一章保存为一个文件

from bs4 import BeautifulSoup
import requests
import codecs
import re

def getHtml(url):    
    htm2 = requests.get(url,headers)
    soup = BeautifulSoup(htm2.content,'lxml')    
    books_dir = []
    
    name = soup.find('div',class_='listmain')
    #父div,子dl,孙dt(总标题)和dd(每一章)
    if name:
        dd_items = name.find('dl')
        dt_num = 0
        for n in dd_items.children:
            ename = str(n.name).strip()
            if ename == 'dt':
                dt_num += 1
            if ename != 'dd':
                continue
            books_info = {}
            if dt_num == 2:
                durls = n.find_all('a')

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值