自己做的爬取起点中文网书名目录的小程序

最新推荐文章于 2024-04-07 17:31:07 发布

HeroAchilles

最新推荐文章于 2024-04-07 17:31:07 发布

阅读量788

点赞数

分类专栏： Python 爬虫

本文链接：https://blog.csdn.net/HeroAchilles/article/details/88856675

版权

本文介绍了一个自行开发的小程序，用于爬取起点中文网的书籍名称及目录，实现了自动化获取网络文学资源的功能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import xlwt
import requests
from lxml import etree
import time



def main(url,headers):
    page=requests.get(url,headers=headers,timeout=30)
    selector=etree.HTML(page.text)
    for i in range(1,21):
        #爬取书名
        bookname=selector.xpath('/html/body/div[1]/div[5]/div[2]/div[2]/div/ul/li[{}]/div[2]/h4/a/text()'.format(str(i)))
        bookname=str(bookname)
        #爬取作者名