Python 用爬虫爬取小说

最新推荐文章于 2024-09-05 17:33:10 发布

return None

最新推荐文章于 2024-09-05 17:33:10 发布

阅读量552

点赞数 1

分类专栏：笔记

本文链接：https://blog.csdn.net/qq_49635580/article/details/107581975

版权

本文介绍如何使用Python爬虫技术下载小说《黄泉禁忌》到本地。通过获取请求信息，数据清洗，设置User-Agent，解析URL，避开付费章节，最终将小说保存以便离线阅读。适合Python初学者作为爬虫实践项目。

摘要由CSDN通过智能技术生成

相信大家多多少少都会看看小说，正规的渠道又要付费，免费的广告又多，非常影响阅读。
本人高一学Python也有半年了，最近也会看看小说，下面就用Python的爬虫来实现把小说下载到本地。这里我就以《黄泉禁忌》为例

from urllib import request
from random import choice
import re

#获取请求数据
def reponse(url,agent):
    headers = {
   'User-Agent':agent}
        
    #构造处理对象
    httpHandler = request.HTTPHandler()
    '''
    由于本项目中并不需要使用代理IP
    所以就不加了
    proxy = {'http':'     代理IP     '}
    proxyHandler = request.ProxyHandler(proxy)
    '''
   
    #自定义opener
    #如果使用了代理IP则需要加上proxyHandler参数
    opener = request.build_opener(httpHandler)
        
    #构造请求对象
    req = request.Request(url,headers=headers)
        
    data = opener.open(req).read(<