异步爬取小说

已于 2024-07-13 16:02:38 修改
阅读量504 收藏 13
点赞数 14
分类专栏： python爬虫 文章标签： 爬虫 python
于 2024-07-13 16:00:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_62861064/article/details/140394346
版权

异步爬取小说

异步

我们知道爬虫是 IO密集型任务，在使用requests 库来爬取某个站点，当发出一个请求后，程序必须等待网站返回响应，才能接着运行，而在等待响应的过程中，整个爬虫程序是一直在等待的，实际上没有做任何事情。对于这种情况，我们有没有优化方案呢?
异步爬虫可以在发送请求后不阻塞等待响应，而是继续执行其他任务，从而提升了数据抓取效率。

页面解析

这里想爬取取得url为我的模拟长生路
鼠标右键点击检查（或者F12）
在这里插入图片描述
假设你想要获取某一章小说的信息，直接定位到具体的标签，爬取网页信息我认为就是定位具体标签，获取标签内信息，然后数据清洗除去无用数据，最后数据展示。
在这里插入图片描述
使用requests 爬取，这种方法爬取的太慢了，要不就直接开多线程，但多线程受电脑性能，不能开太多。
多进程就是利用CPU的多核优势，在同一时间并行执行多个任务、可以大大提高执行效率。

def fetch(url,headers):
    response = requests.get(url,headers=headers)
    text=response.content.decode('gbk')
    print(text)
if __name__ == '__main__':
    url ='https://www.hafuktxt.com/book/91817982/'
    headers = {
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36 Edg/126.0.0.0'
    }
    fetch(url,headers)

在这里插入图片描述

获取章节url,章节内容

  1. 将之前的requests 爬取改成aiohttp，利用aiohttp库里ClientSession 类的 get 方法进行请求，并使用xpath获取标签信息。
    async定义的方法会变成一个无法直接执行的协程对象，必须将此对象注册到事件循环中才可以执行。

如果一个对象可以在 await 语句中使用，那么它就是 可等待 对象。许多 asyncio API 都被设计为接受可等待对象。

  1. 可等待对象有三种主要类型: 协程, 任务 和 Future.
  2. tasks 列表包含多个协程对象 ;asyncio.gather是一个用于并发执行多个协程并收集它们结果的函数 *tasks是将tasks列表解包为位置参数的方式，这样asyncio.gather可以接收多个协程作为参数。
async def fetch(session, url):
    async with semaphore:
        async with session.get(url, headers=headers) as response:
            text = await response.text(encoding='gbk', errors='ignore')
            print(url)
            return etree.HTML(text)

async def get_data_async(url):
    async with aiohttp.ClientSession(connector=aiohttp.TCPConnector(ssl=False), trust_env=True) as session:
        title_urls = (await fetch(session, url)).xpath(
            '//div[@class="container border3-2 mt8 mb20"]//div[@class="info-chapters flex flex-wrap"]/a/@href')
        str_list1 = [i.replace('.html', '_2.html') for i in title_urls]
        str_list2 = [temp for i in zip(title_urls, str_list1) for temp in i]

        async def get_title_and_content(title_url):
            html = await fetch(session, 'https://www.hafuktxt.com/' + title_url)
            content_title = html.xpath('//h1/text()')
            content_text = html.xpath('//article[@class="content"]/p//text()')
            print(f'{content_title[0]}下载完成')
            return content_title[0] if content_title else '', [str(t.replace('\u3000', '')) for t in content_text]

        tasks = [get_title_and_content(title_url) for title_url in str_list2]
        results = await asyncio.gather(*tasks)
  1. 将结果写入title.txt文件中
 with open('title.txt', 'w', encoding='utf-8') as f:
            for title, contents in results:
                f.write(title + '\n')
                contents = contents
                for content in contents:
                    f.write(content + '\n')
  1. 主函数运行py文件
 if __name__ == '__main__':

    headers = {
        'User-Agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36",
    }
    url = 'https://www.hafuktxt.com/book/91817982/'

    start = time.time()
    # asyncio.run(get_data_async(url))
    asyncio.get_event_loop().run_until_complete(get_data_async(url))
    end = time.time()
    print(f'耗时：{end - start}')

这时候你会发现程序运行着，就会报错aiohttp.client_exceptions.ClientOSError: [WinError 10054] 远程主机强迫关闭了一个现有的连接。这是触发了网站的保护机制，为了防止高并发对IP做出了限制。

在这里插入图片描述
通过对网页源码查看知道当请求过于频繁时，它会封ip,30s才能再次访问，那我们可以使用代理ip来解决ip被封的问题。

在这里插入图片描述

限制访问请求频率

由于不知道网站的限制，我所给出的限制时30s内3000个请求。你可以自己改下请求频率。

# 假设的限制条件
MAX_REQUESTS_PER_30S = 3000
CONCURRENCY = 20
REQUEST_INTERVAL = 30 / MAX_REQUESTS_PER_30S  # 根据限制计算请求间隔

# 限制并发数量
semaphore = asyncio.Semaphore(CONCURRENCY)
request_count = 0
last_request_time = time.time()


async def fetch(session, url):
    global request_count, last_request_time

    # 速率限制逻辑
    current_time = time.time()
    elapsed_time = current_time - last_request_time
    if elapsed_time < REQUEST_INTERVAL:
        await asyncio.sleep(REQUEST_INTERVAL - elapsed_time)
    last_request_time = time.time()
    request_count += 1
    if request_count % MAX_REQUESTS_PER_30S == 0:
        print(f"已达到30秒内的请求限制，等待下一个30秒窗口...")
        await asyncio.sleep(30)  # 等待下一个30秒窗口
        last_request_time = time.time()  # 重置时间戳以开始新的30秒窗口
    async with semaphore:
        async with session.get(url, headers=headers) as response:
            text = await response.text(encoding='gbk', errors='ignore')
            print(url)
            return etree.HTML(text)

在这里插入图片描述
在这里插入图片描述

获取代理ip

以·http://www.ip3366.net为例

def get_proxies():
    # 定义proxy_ips列表存储代理地址
    proxy_ips = []
    # 设置headers
    ua = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36"
    headers = {"User-Agent": ua}
    # 从第一页开始循环访问
    for page in range(1, 7):
        # print(f"正在爬取第{page}页!")
        url2=f"http://www.ip3366.net/?stype=1&page={page}"
        url = "https://www.89ip.cn/index_{page}.html"
        res = requests.get(url2, headers=headers)
        # 使用.text属性获取网页内容，赋值给html
        html = res.text
        # 用BeautifulSoup()传入变量html和解析器lxml，赋值给soup
        soup = BeautifulSoup(html, "html.parser")
        # 使用find_all()方法查找类名为layui-table的标签
        table = soup.find_all(class_="table table-bordered table-striped")[0]
        # 使用find_all()方法查找tr标签
        trs = table.find_all("tr")
        # 使用for循环逐个访问trs列表中的tr标签,一个tr代表一行，第一行为表头，不记录
        for i in range(1, len(trs)):
            # 使用find_all()方法查找td标签
            ip = trs[i].find_all("td")[0].text.strip()
            port = trs[i].find_all("td")[1].text.strip()
            # 拼接代理地址
            proxy_ip = f"http://{ip}:{port}"
            # print(proxy_ip)
            # 将获取的代理地址保存到proxy_ips列表
            proxy_ips.append(proxy_ip)
        # print(proxy_ips)
    return proxy_ips

测试ip是否可用（一般免费的ip能用的很少）：

def test_proxy(ip):
    # 设置headers
    headers = {
        'User-Agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36",
    }
    url = "http://httpbin.org/get"
    # url = "https://www.baidu.com"
    # 设置代理信息
    proxies = {"http": ip}
    # 通过请求百度首页来验证代理地址是否有效
    try:
        res = requests.get(url, headers=headers, proxies=proxies, timeout=3)
    except requests.exceptions.Timeout:
        # 超过3秒未返回，则请求超时
        print(f"请求{ip}超时")
        result_code = 0
    else:
        if res.status_code == 200:
            print(f"代理地址{ip}有效")
            result_code = 200
            print(res.text)

        else:
            print(f"代理地址{ip}无效,状态{res.status_code}")
            result_code = res.status_code

    # finally:
    #     return res.status_code
    # 返回请求状态
    return result_code

使用代理

  1. requests中使用代理
  import requests

    proxy = '127.0.0.1:7890'
    headers = {
        'User-Agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36",
    }
    proxies ={
        'http':'http://'+ proxy,
        'https':'http://'+ proxy,
    }
    try:
        response =requests.get('http://www.httpbin.arg/get',headers=headers, proxies = proxies)
        print(response.text)
    except requests.exceptions.ConnectionError as e:
        print('Error', e.args)
  1. 异步中使用代理
proxy = 'http://127.0.0.1:7890'
async def main():
    async with aiohttp.ClientSession() as session:
        async with session.get('https://www.httpbin.org/get', proxy=proxy) as response:
            print(await response.text())
if __name__=='__main__':
    asyncio.get_event_loop().run_until_complete(main())
  1. selenium代理
from selenium import webdriver

proxy='127.0.0.1:7890'
options =webdriver.ChromeOptions()
options.add_argument('--proxy-server-http://'+proxy)
browser=webdriver.Chrome(options=options)
browser.get("https://ww.httpbin.org/get")
print(browser.page_source)
browser.close()
惬霑
关注
  • 14
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
学习分享 | python3异步爬取小说
xxhhw的博客
05-08 604
最近学了异步/协程，于是想模仿写一个爬取小说的代码 遇到了好几个坑这里记录一下： 导的包 import asyncio import aiofiles import requests from bs4 import BeautifulSoup from lxml import etree import aiohttp import time 主函数 url = 'http://www.purepen.com/sgyy/' def main(): head = { 'User-Ag
使用aiohttp异步爬取小说
zz001357的博客
02-28 1275
哈喽，在这个寂寞的下午来看看这篇很水的文章《使用aiohttp爬取小说》 首先，简单说下同步和异步。个人理解蛤，举个例子 同步就是，你去买泡面，买完得等商家算钱，算完钱了，你才能离开店铺。 异步就是，晚上吃个泡面，先烧个水，那么在等水开的时候，就可以撕泡面的包装，酱料包，然后等到水开了泡就是了 苦逼单身dog，只有泡面… ...
python通过异步爬取小说
weixin_45727633的博客
04-17 1122
本次爬取目标网址:长夜余火(爱潜水的乌贼)_长夜余火最新章节 - 笔趣阁 不难看出首页包含所有文章的链接，那么我们第一步就先获取说有章节的链接。 首先引入所需要的库: import asyncio import requests import aiohttp from lxml import etree import csv 然后创建一个获取链接的函数,刚获取到的链接是不完整的，所以需要拼接 就这样我们创建好了一个获取所有章节链接的函数: def get_url(): ...
使用异步爬虫爬取网络小说
qq_73804934的博客
10-25 643
因为aiohttp的读取如果是html的话直接就和requests的使用一模一样，如果是非文本信息则是。这个重点在于aiohttp的使用，它保存文件的格式有很多种，如果要保存非文本信息需要用。这个主要用于读取非文本信息方便后期储存。下面就是关于协程爬取的案例。
python3多进程+协程异步爬取小说爬虫
weixin_43853097的博客
01-15 1986
前言 之前写了一篇关于用多线程爬小说的博客，但是发现爬取16M的小说需要十几分钟，所以今天更新了一篇用多进程外加使用单线程异步的协程同样爬取之前用多线程爬取的同一篇小说，并进行两者效率的对比 本篇测试爬取的小说为《大主宰》1551章 约16M大小 步骤 全局数据列表 urls = [] #储存各章节的URL htmls = []#储存各章节页面HTML titles = []#储存各章节名字 pr...
1.4 python爬虫 异步协程快速爬取一部小说
qq_63701329的博客
11-15 100
【代码】1.4 python爬虫 异步协程爬取快速一部小说。
异步爬取小说---三寸人间
RayMand168的博客
04-23 428
思路 1.先写同步代码，遇到多个url时，创建异步任务。 2.保存到txt文件 导包 import requests from lxml import etree import asyncio import aiohttp, aiofiles import os 得到url列表 async def get_urls(url, headers): resp = requests.get(url=url, headers=headers) resp.encoding = 'utf-8'
Aiohttp异步爬取小说排行榜
Liu_Bruce的博客
06-09 1039
** Aiohttp简介及使用 ***​ Aiohttp是Python的一个第三方网络编程模块， 它可以开发服务端和客户端，服务端也就是我们常说的网站服务器；客户端是访问网站的API接口，常用于接口测试，也可用于开发网络爬虫。Aiohttp是基于Asyncio实现的HTTP框架，Asyncio是从Python3.4开始引入的标准库，它是因协程的概念而生，这是Python官网推荐高并发的模块之一。
利用Python爬取小说（附源码）
qq_41515916的博客
04-27 6761
Python爬取网络小说，不用再为了看小说没有会员而烦恼！
Python爬取小说网站的小说
05-05
6. **异步爬取与反爬策略** 为了提高爬取效率，可以使用异步库如`asyncio`和`aiohttp`。同时，注意遵循网站的robots.txt规则，避免过于频繁的请求，以防止被封IP。可能还需要处理验证码、登录验证等反爬策略。 7. ...
nodejs爬虫爬取小说
08-01
以上就是使用Node.js爬虫爬取小说涉及的一些核心知识点。实践中，还需要根据具体需求进行调整和优化，例如对爬取速度的控制、爬虫的多线程实现、数据清洗等。同时，遵循网络爬虫道德规范，尊重网站的robots.txt文件...
python 爬取网络小说
10-09
网络小说的爬取是Python初学者常用来实践的一个项目，因为这涉及到网页抓取、解析和存储等基本技能，对于学习网络爬虫非常有帮助。下面将详细讲解Python爬取网络小说的相关知识点。 1. **基础概念**： - **网络...
Day04爬取小说存入数据库.rar
08-21
标题 "Day04爬取小说存入数据库.rar" 暗示了这是一个关于使用Python进行网络数据抓取（爬虫）并将数据存储到数据库的教程。这个教程可能包含以下几个核心知识点： 1. **网络爬虫基础**：首先，你需要了解什么是网络...
Python爬虫-笔趣阁小说爬虫-自动爬取小说
01-10
在这个项目中，我们将深入探讨如何使用Python的BeautifulSoup库结合requests库来实现对笔趣阁小说网站的自动化爬取，从而实现小说的自由获取。 首先，`requests`库是Python中用于发送HTTP请求的库，它允许我们轻松...
Python应用爬虫下载QQ音乐歌曲！
Python_trys的博客
07-12 689
12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364656667686970。
[SWPUCTF 2021 新生赛]ez_unserialize
liaochonxiang的博客
07-08 247
将结果直接通过get请求提交即可得到flag。得到一个robots.txt目录。根据代码构造php序列化对象。
爬虫学习日记
wuhu_czy的博客
07-12 301
爬虫python code
数据分析——Python网络爬虫(四){正则表达式}
最新发布
樊鴻燁的博客
07-12 552
爬虫库的使用爬虫的步骤正则表达式正则表达式的流程正则表达式的使用括号的使用管道匹配问号匹配星号匹配加号匹配花括号匹配用点-星匹配所有字符跨行匹配findall方法其他常用字符匹配例子正则表达式在线测试 爬虫的步骤 #mermaid-svg-GHHgvCa5dI1TM3wb .label{font-family:'trebuchet ms', verdana, arial;font-family:var(--mermaid-font-family);fill:#333;color:#333}#mermaid-
python 异步爬取梨视频
05-01
你可以使用 Python 的 asyncio 和 aiohttp 模块来实现异步爬取梨视频。这里给出一个简单的示例代码： ```python import asyncio import aiohttp async def fetch(session, url): async with session.get(url) as response: return await response.text() async def main(): async with aiohttp.ClientSession() as session: urls = ['http://www.pearvideo.com/category_5', 'http://www.pearvideo.com/category_6'] tasks = [asyncio.create_task(fetch(session, url)) for url in urls] htmls = await asyncio.gather(*tasks) for html in htmls: print(html) # 这里可以写解析代码，将视频信息提取出来 if __name__ == '__main__': loop = asyncio.get_event_loop() loop.run_until_complete(main()) ``` 在这个示例中，我们首先定义了一个 `fetch` 函数，用于使用 aiohttp 发送异步请求并返回响应的 HTML 页面。然后在 `main` 函数中，我们创建了一个 aiohttp 的 `ClientSession` 对象，并使用 asyncio 的 `create_task` 函数创建了多个异步任务，最后使用 `asyncio.gather` 函数将这些任务一起执行，并将结果存储在 `htmls` 列表中。你可以在这里添加解析代码，将视频信息提取出来。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值