20行代码简单python爬虫，爬虫实例

hzz0504

已于 2022-04-23 19:52:52 修改

阅读量8.5k

点赞数 6

文章标签： python list pycharm 网络爬虫

于 2022-04-23 14:08:00 首次发布

本文链接：https://blog.csdn.net/hzz0504/article/details/124363162

版权

本文介绍了如何使用Python快速实现一个简单的网络爬虫，通过20行代码实现小说的下载。讲解了requests库抓取网页源码，结合xpath解析HTML，为初学者提供了快速入门的实例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前言

小说看不过瘾，下载下来慢慢看，python爬虫五分钟轻松下载小说_novel is so frustrating!

函数介绍

函数功能简单介绍

库函数介绍

import requests#请求网页
from lxml import etree#对网页进行解析

函数功能介绍

函数1

def getdata(url):
    html=requests.get(url).text
    # print(html)
    doc=etree.HTML(html)#构造xpath的解析对象
    contents=doc.xpath('//*[@class="cf"]/li')
    # print(contents)
    for content in contents:
        links=content.xpath('h2/a/@href')
        for link in links:
            hurl="https:"+link#小说某一章的网址
            html=requests.get(hurl).text#获取到源代码
            doc=e

最低0.47元/天解锁文章