python使用beautifulsoup爬取起点小说的名称，作者，摘要，更新信息

最新推荐文章于 2024-06-28 12:07:32 发布

Volcanoforever

最新推荐文章于 2024-06-28 12:07:32 发布

阅读量732

点赞数

文章标签： python beautifulsoup 开发语言

本文链接：https://blog.csdn.net/Volcano99/article/details/133160462

版权

该博客介绍了一段Python代码，通过向指定网页发送HTTP GET请求获取内容，利用BeautifulSoup库解析HTML，查找包含小说信息的元素。将提取的小说名称、作者、摘要和更新信息等写入CSV文件，实现从网页抓取小说信息并存储，便于后续处理分析。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

这段代码是用Python编写的，目的是从指定网页中抓取小说信息，下面有代码

pythonCopy code

# 导入所需的库 import requests from bs4 import BeautifulSoup import csv # 发送HTTP GET请求获取网页内容 url = "http://www.bspider.top/qidian/" response = requests.get(url)

通过requests库，向URL地址"http://www.bspider.top/qidian/"发送HTTP GET请求，获取网页的内容，并将响应存储在response变量中。

pythonCopy code

# 使用BeautifulSoup解析网页内容 soup = BeautifulSoup(response.text, 'html.parser')

使用BeautifulSoup库，将HTTP响应的文本内容解析为HTML，以便后续的信息提取。

pythonCopy code

# 找到所有小说信息所在的列表 novel_list = soup.find_all('li', {'data-rid': True})

使用BeautifulSoup的find_all方法查找所有带有data-rid属性的li元素。这些元素包含了小说的信息。

pythonCopy code

# 创建CSV文件并写入表头 with open('novel_info.csv', mode='w', newline='', encoding='utf-8') as csv_file: writer = csv.writer(csv_file) writer.writerow(['小说名称', '作者', '摘要', '更新信息'])

打开一个CSV文件（如果文件不存在，将创建一个新的），设置文件的编码为UTF-8，并创建一个CSV写入器。
使用writerow方法写入CSV文件的表头行，表头包含了小说的信息字段，即'小说名称', '作者', '摘要', '更新信息'。

pythonCopy code

# 遍历列表提取信息并写入CSV文件 for novel in novel_list: novel_name = novel.find('h4').text.strip() author_name = novel.find('a', {'class': 'name'}).text.strip() abstract = novel.find('p', {'class': 'intro'}).text.strip() update_info = novel.find('p', {'class': 'update'}).text.strip() # 写入CSV文件 writer.writerow([novel_name, author_name, abstract, update_info])

使用for循环遍历novel_list中的每一个小说条目，然后使用find方法提取小说的名称、作者、摘要和更新信息。
最后，使用CSV写入器的writerow方法将提取的小说信息写入CSV文件的一行。

pythonCopy code

print("已保存为novel_info.csv文件")

最后，代码会打印一条消息，表示小说信息已经保存到了CSV文件中。

总之，这段代码的作用是从指定网页中提取小说的信息，并将这些信息存储在一个CSV文件中，以便进一步处理或分析。

import requests
from bs4 import BeautifulSoup
import csv
# 发送HTTP请求获取网页内容
url = "http://www.bspider.top/qidian/"
response = requests.get(url)
# 使用BeautifulSoup解析网页内容
soup = BeautifulSoup(response.text, 'html.parser')
# 找到所有小说信息所在的列表
novel_list = soup.find_all('li', {'data-rid': True})
# 创建CSV文件并写入表头
with open('novel_info.csv', mode='w', newline='', encoding='utf-8') as csv_file:
    writer = csv.writer(csv_file)
    writer.writerow(['小说名称', '作者', '摘要', '更新信息'])
    # 遍历列表提取信息并写入CSV文件
    for novel in novel_list:
        novel_name = novel.find('h4').text.strip()
        author_name = novel.find('a', {'class': 'name'}).text.strip()
        abstract = novel.find('p', {'class': 'intro'}).text.strip()
        update_info = novel.find('p', {'class': 'update'}).text.strip()
        # 写入CSV文件
        writer.writerow([novel_name, author_name, abstract, update_info])
print("已保存为novel_info.csv文件")