python爬取小说名_python笔记--爬取小说作者和书名

import requests

from lxml import etree

import openpyxl

url = 'https://www.qidian.com/rank/yuepiao'headers = ｛'user-agent': 'Mozilla/5.0 (s NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.150 Safari/537.36 Edg/88.0.705.63'｝

resp = requests.get(url, headers=headers)

e = etree.HTML(resp.text)

names = e.xpath('//div[@class="book-mid-info"]/h4/a/text()')

authors = e.xpath('//p[@class="author"]/a[1]/text()')

lst = [['小说名称', '作者']]

print('将两个列表整合')

for i in range(0, len(names)):

lst.([names[i], authors[i]])

wb = openpyxl.Workbook()

sheet = wb.active

for item in lst:

sheet.((item))

wb.save('我的小说.xlsx')

步骤：

找到目标网站

模拟浏览器发送请求并获得相应结果

用xpath解析数据

用循环将数据存储到列表中

用openpyxl将数据存储到Excel中

附录：

第三方安装见：https://www.jianshu.com/p/d4262c8d8af8

xpath使用见：https://www.jianshu.com/p/1c34a1a0fae5