正则表达练习

最新推荐文章于 2022-10-17 23:53:15 发布

浪子天涯梦

最新推荐文章于 2022-10-17 23:53:15 发布

阅读量95

点赞数

分类专栏： Python 文章标签： python

本文链接：https://blog.csdn.net/qq_29304291/article/details/125396043

版权

Python 专栏收录该内容

4 篇文章 0 订阅

订阅专栏

该博客展示了使用Python的requests和正则表达式库进行网络爬虫的实践，通过输入书籍ID从指定网站抓取书籍名称、目录和章节内容，并将内容保存为TXT文件。整个过程包括URL构造、网页内容解析、目录结构建立以及文件保存等步骤。

摘要由CSDN通过智能技术生成

正则表达式练习，仅供学习交流

import requests,re,os

url1='https://qbxs520.com/book/'
i=input("请输入书籍ID:")
url=(url1+i+'/')
req=requests.get(url)
name=re.findall('<h2>《(.*?)》',req.text)[0]
mulu=re.findall('.html">(.*?)</a>',req.text)[9:]
wangzhi=re.findall(f'href="/book/{i}/(.*?).html',req.text)
wangzhi=set(wangzhi)
wangzhi=list(wangzhi)
wangzhi.sort()

dict1={}
for i in range(len(mulu)):
    dict1[mulu[i]]=f'{url}{wangzhi[i]}.html'

if not os.path.exists(f'E:/Desktop/{name}'):
    os.mkdir(f'E:/Desktop/{name}')

count=1
for m,n in dict1.items():
    if count<1:
        break
    else:
        req = requests.get(n)
        neirong = re.findall('id="booktext">(.*?)</p>', req.text, re.S)[0]
        neirong = neirong.replace('<br />', '\n').replace(' ','')
        with open(f'E:/Desktop/{name}/{m}.txt','w+') as file2:
             file2.write(neirong)
        print(f'{m}爬取完毕')
    count+=1