request爬取小说内容

#request爬取小说内容
import re
import requests
import os
bookURL='https://www.xs4.cc/0_193/' #书的地址
booksite=requests.get(bookURL)#获取书的网页
booksite.encoding='gbk'
book_name=re.findall('<h1>(.*?)</h1>',booksite.text)[0]#获取书名
if not os.path.exists(f'd:/{book_name}'): #如果不存在书名的文件夹
    os.mkdir(f'd:/{book_name}') #新建以书名命名的目录
sectionURL=re.findall('/0_193/(.*?)">',booksite.text)#获取各章节地址的最后部分
chaptersite=[]#定义章节网址列表，用于存放所有完整章节网址
for i in range(len(sectionURL)):
    chaptersite.append(bookURL+sectionURL[i])#将完整章节网址一个一个放入chaptersite列表中
    # print(chaptersite[i])
print(len(chaptersite))
texts=[]#定义列表存放每一章的网页内容
filenames=[]#定义列表存放各章节名做为文件名
for j in range(9,18):
    texts.append(requests.get(chaptersite[j]))#将获取的每一章的网页内容一个一个放入texts列表中
    texts[j-9].encoding='gbk'
    filenames.append(re.findall('<h1>(.*?)</h1>',texts[j-9].text)[0])#获取各章节名存放入filenames列表中
    if '第' in filenames[j-9]:
        body=re.findall('&nbsp;&nbsp;&nbsp;&nbsp;(.*?)<br />',texts[j-9].text,re.S)#从各章节网页内容中获取各章节正文
        with open(f'd:/{book_name}/{filenames[j-9]}.txt','w+') as filej:
            for k in range(len(body)):
                filej.write('    ')
                filej.write(body[k])
                filej.write('\n')