python爬取小说

最新推荐文章于 2024-08-07 09:00:00 发布

明明就21

最新推荐文章于 2024-08-07 09:00:00 发布

阅读量124

点赞数 1

分类专栏： python 文章标签： python

本文链接：https://blog.csdn.net/qq_48318978/article/details/116113479

版权

本文演示了如何使用Python的requests和BeautifulSoup库爬取网络小说，并将其保存为TXT文件。首先设置请求头，然后创建目标文件夹。接着访问小说列表页面，遍历每个小说的链接，再次请求详情页获取小说内容，最后将内容写入对应名称的TXT文件。

摘要由CSDN通过智能技术生成

import os
import requests
from bs4 import BeautifulSoup
#声明请求头
header = {
'User-Agent':'Mozilla/5.0(Windows NT 10.0) Applewebkit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.87 Safari/537.36'}
#创建保存小说文本的文件夹
if not os.path.exists('D:/小说'):
os.mkdir('D:/小说/')
#访问网站并获取页面数据

response = requests.get('http://www.biquw.com/book/16583/')
response.encoding = response.apparent_encoding
print(response.text)

#lxml:html解析库，将html代码转换为python对象 python对象可以对html代码进行控制
soup = BeautifulSoup(response.text,'lxml')
book_list = soup.find('div',class_='book_list').find_all('a')
#soup对象获取批量数据后返回的是一个列表，我们可以对列表迭代提取
for book in book_list:
book_name = book.text
#获取列表数据，获取文章详情页链接，在a标签的href属性中
book_url = book['href']