python爬取小说

sitive

已于 2022-11-19 19:05:52 修改

阅读量1.1k

点赞数

文章标签： python 爬虫

于 2022-10-20 11:42:45 首次发布

本文链接：https://blog.csdn.net/sitive/article/details/127423258

版权

本文介绍了如何使用Python进行网络爬虫，通过分析网页元素获取小说的网址，发送请求得到网页内容，再进行内容解析，从而提取出所需的小说章节。主要涉及的技术包括网络请求和HTML解析。

摘要由CSDN通过智能技术生成

按f12，查看页面元素

就会发现它所有的标题，和网址，我们要获取小说内容的，那就需要获取其网页链接，然后发送请求，获取网页内容，然后就是解析网页，筛选其中的内容

最终效果

用到的库

pip install requests
pip install bs4

完整代码

import os
import time
import requests
from bs4 import BeautifulSoup


def books(path,url1):
    # 创建文件夹
    path = path
    # path是文件夹或者文件的相对路径或者绝对路径
    if os.path.exists(path):
        pass
    else:
        os.mkdir(path)

    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Geck