python爬虫笔记（八）实例3：用Python批量爬取全站小说【以书趣阁为例】

最新推荐文章于 2023-11-15 17:03:49 发布

Douzi1024

最新推荐文章于 2023-11-15 17:03:49 发布

阅读量1.6k

点赞数 3

分类专栏： python爬虫

本文链接：https://blog.csdn.net/Xiao_CangTian/article/details/104230726

版权

本文介绍了如何使用Python进行批量爬取全站小说的步骤，包括从书趣阁网站抓取小说信息。首先，讲解了如何针对特定网址爬取小说，接着展示了如何爬取单本书的详细内容，最后讨论了爬取特定分类下所有小说的方法。

摘要由CSDN通过智能技术生成

1. 用Python批量爬取全站小说

爬取这个网站小说：http://www.shuquge.com/txt/89644/index.html

2. 爬取一本书

# -*- coding: utf-8 -*-
"""
Created on Sat Feb  8 20:31:43 2020

@author: douzi
"""

import requests
from parsel import Selector
import re
import time
    

def main():
    index_url = 'http://www.shuquge.com/txt/89644/index.html'  # 想要爬取的小说
    tpl = 'http://www.shuquge.com/txt/89644/'   
    
    headers = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36"}
    
    # 获取小说目录页
    urllist = requests.get(index_url, headers=headers)
    index_sel = Selector(urllist.text)
    # <div class="listmain"> <dl><dt>《九星毒奶》最新章节</dt><dd><a href="29287710.html">1040 养龙皮？</a&