这段代码是用Python编写的,目的是从指定网页中抓取小说信息,下面有代码
pythonCopy code
# 导入所需的库 import requests from bs4 import BeautifulSoup import csv # 发送HTTP GET请求获取网页内容 url = "http://www.bspider.top/qidian/" response = requests.get(url)
- 通过
requests
库,向URL地址"http://www.bspider.top/qidian/"发送HTTP GET请求,获取网页的内容,并将响应存储在response
变量中。
pythonCopy code
# 使用BeautifulSoup解析网页内容 soup = BeautifulSoup(response.text, 'html.parser')
- 使用BeautifulSoup库,将HTTP响应的文本内容解析为HTML,以便后续的信息提取。
pythonCopy code
# 找到所有小说信息所在的列表 novel_list = soup.find_all('li', {'data-rid': True})
- 使用BeautifulSoup的
find_all
方法查找所有带有data-rid
属性的li
元素。这些元素包含了小说的信息。
pythonCopy code
# 创建CSV文件并写入表头 with open('novel_info.csv', mode='w', newline='', encoding='utf-8') as csv_file: writer = csv.writer(csv_file) writer.writerow(['小说名称', '作者', '摘要', '更新信息'])
-
打开一个CSV文件(如果文件不存在,将创建一个新的),设置文件的编码为UTF-8,并创建一个CSV写入器。
-
使用
writerow
方法写入CSV文件的表头行,表头包含了小说的信息字段,即'小说名称', '作者', '摘要', '更新信息'。
pythonCopy code
# 遍历列表提取信息并写入CSV文件 for novel in novel_list: novel_name = novel.find('h4').text.strip() author_name = novel.find('a', {'class': 'name'}).text.strip() abstract = novel.find('p', {'class': 'intro'}).text.strip() update_info = novel.find('p', {'class': 'update'}).text.strip() # 写入CSV文件 writer.writerow([novel_name, author_name, abstract, update_info])
-
使用
for
循环遍历novel_list
中的每一个小说条目,然后使用find
方法提取小说的名称、作者、摘要和更新信息。 -
最后,使用CSV写入器的
writerow
方法将提取的小说信息写入CSV文件的一行。
pythonCopy code
print("已保存为novel_info.csv文件")
- 最后,代码会打印一条消息,表示小说信息已经保存到了CSV文件中。
总之,这段代码的作用是从指定网页中提取小说的信息,并将这些信息存储在一个CSV文件中,以便进一步处理或分析。
import requests
from bs4 import BeautifulSoup
import csv
# 发送HTTP请求获取网页内容
url = "http://www.bspider.top/qidian/"
response = requests.get(url)
# 使用BeautifulSoup解析网页内容
soup = BeautifulSoup(response.text, 'html.parser')
# 找到所有小说信息所在的列表
novel_list = soup.find_all('li', {'data-rid': True})
# 创建CSV文件并写入表头
with open('novel_info.csv', mode='w', newline='', encoding='utf-8') as csv_file:
writer = csv.writer(csv_file)
writer.writerow(['小说名称', '作者', '摘要', '更新信息'])
# 遍历列表提取信息并写入CSV文件
for novel in novel_list:
novel_name = novel.find('h4').text.strip()
author_name = novel.find('a', {'class': 'name'}).text.strip()
abstract = novel.find('p', {'class': 'intro'}).text.strip()
update_info = novel.find('p', {'class': 'update'}).text.strip()
# 写入CSV文件
writer.writerow([novel_name, author_name, abstract, update_info])
print("已保存为novel_info.csv文件")