第三十四篇 异步爬虫之协程爬取以及视频网站爬取实例

最新推荐文章于 2024-02-21 15:56:56 发布
最新推荐文章于 2024-02-21 15:56:56 发布
阅读量1k 收藏 8
点赞数 2
分类专栏： python 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45503700/article/details/103226439
版权

协程最大的优势就是：
协程极高的执行效率。因为子程序切换不是线程切换，而是由程序自身控制，因此，没有线程切换的开销，和多线程比，线程数量越多，协程的性能优势就越明显。但相应的是协程的控制难度比较高，容易出错。

*单线程-异步协程：

event-loop:
时间循环，相当于一个无限循环，我们可以把一些函数注册到这个时间当中去，当满足某些条件时，函数就会被循环执行
coroutine:
协程对象，我们可以将协程对象注册到事件循环中，它被事件循环调用，我们可以使用async关键字来定义方法，这个方法在调用的时候不会立即执行，而是返回一个协程对象
task:
任务，它是对协程对象的进一步封装，包含了任务的各种执行状态
future:
代表将来执行或者还没有执行的任务，和task没区别
async:
定义一个协程
await:
用来挂起阻塞方法的执行

使用方法：
1.导入模块：
import async asyncio的编程模型就是一个消息循环
2.创建事件循环对象

 loop = asyncio.get_event_loop()

3.创建任务

c=func()
c为函数执行的结果
task = asyncio.ensure_future(c)   #用于显示状态和传递参数

4.将协程对象注册到loop中然后启动

loop.run_until_complete(task)

5.回调函数用法：

import asyncio

#async修饰函数，调用之后的一个协程对象
async def request(url):   
    print("正在请求的url",url)
    print("请求成功",url)
    return url
c=request("www.baidu.com")
#绑定回调
def callback_func(task):
    #result返回的是任务对象中封装的函数的返回值
    print("result :",task.result()

loop = asyncio.get_event_loop()
task = asyncio.ensure_future(c)
#将回调函数绑定到任务对象中
task.add_done_callback(callback_func)  
loop.run_until_complete(task)

结果：

正在请求的url www.baidu.com
请求成功 www.baidu.com
result : www.baidu.com

看一个协程的代码：

当然也可以不需要task操作，直接将函数返回的协程对象传给注册到的loop中也可以。

import asyncio
import time

async def request(url):
    print("正在下载 ",url)
    #在异步协程中如果出现了同步模块相关的代码，异步无法实现，如time.sleep()
    #time.sleep(2)
    #async中也有sleep方法，是基于异步的
    await asyncio.sleep(2)  #遇到阻塞必须手动挂起
    print("下载完成 ",url)

start_time=time.time()
urls=[
    "www.baidu.com",
    "www.sougou.com",
    "www.goubanjia.com"
]

#任务列表，存放多个任务对象
tasks = []
for url in urls:
    c = request(url)
    task=asyncio.ensure_future(c)
    tasks.append(c)

loop = asyncio.get_event_loop()
#固定的语法格式，需要将任务列表封装到wait中
loop.run_until_complete(asyncio.wait(tasks))

print(time.time()-start_time)

结果：

正在下载  www.baidu.com
正在下载  www.sougou.com
正在下载  www.goubanjia.com
下载完成  www.baidu.com
下载完成  www.sougou.com
下载完成  www.goubanjia.com
2.0048012733459473

应用协程如何爬取网页

使用异步网页模块：aiohttp模块

flask服务器：

from flask import Flask
import time

app=Flask(__name__)

@app.route('/tian')
def index_tian():
    time.sleep(2)
    return "hello tian"

@app.route('/jian')
def index_jian():
    time.sleep(2)
    return "hello jian"

@app.route('/ying')
def index_ying():
    time.sleep(2)
    return "hello ying"

if __name__ == '__main__':
    app.run(threaded=True)

在没有aiohttp异步请求时：

import asyncio
import requests
import aiohttp
import time

start_time=time.time()
urls=[
    "http://127.0.0.1:5000/tian","http://127.0.0.1:5000/jian","http://127.0.0.1:5000/ying"
]
async def get_page(url):
    print("正在下载",url)
    res=requests.get(url=url)  #requests模块是同步的,必须使用异步的网络请求模块
    print("下载完毕",res.text)
tasks=[]

for url in urls:
    c=get_page(url)
    task=asyncio.ensure_future(c)
    tasks.append(task)

loop=asyncio.get_event_loop()
loop.run_until_complete(asyncio.wait(tasks))

print(time.time()-start_time)

结果：

正在下载 http://127.0.0.1:5000/tian
下载完毕 hello tian
正在下载 http://127.0.0.1:5000/jian
下载完毕 hello jian
正在下载 http://127.0.0.1:5000/ying
下载完毕 hello ying
6.032746315002441

使用aiohttp异步请求时：
单线程的方式，让其效率大大提高


import asyncio
import requests
import aiohttp
import time

start_time=time.time()
urls=[
    "http://127.0.0.1:5000/tian","http://127.0.0.1:5000/jian","http://127.0.0.1:5000/ying"
]
async def get_page(url):  
    async with aiohttp.ClientSession() as session:   #所有with前必须有async修饰
        #get()/post  params/data  headers  proxy="http://ip:port"
        async with await session.get(url) as res:  #耗时的操作必须进行挂起操作
            page_text=await res.text()  #在获取响应数据之前必须手动挂起
            #text()字符串格式数据
            #read()二进制格式响应数据
            #json()返回json对象
            print(page_text)

tasks=[]  #创建任务列表

for url in urls:  #将函数的返回值逐一加入列表中
    c=get_page(url)
    task=asyncio.ensure_future(c)
    tasks.append(task)

loop=asyncio.get_event_loop()
loop.run_until_complete(asyncio.wait(tasks))  #将参数传入并运行

print(time.time()-start_time)

结果：

hello tian
hello jian
hello ying
2.06882905960083

视频下载实例代码：

使用单线程异步协程爬取视频网站视频

import time
import asyncio
import aiohttp
import os
import requests
from lxml import etree
import re

path="./多线程，多进程/aiohttp实例视频/" 
if not os.path.exists(path):
    os.mkdir(path)

start_time=time.time()

headers={
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.70 Safari/537.36"
    }

# urls=[
#     "https://video.pearvideo.com/mp4/third/20191120/cont-1624716-10964589-180710-hd.mp4",
#     "https://video.pearvideo.com/mp4/adshort/20191120/cont-1624622-14612668_adpkg-ad_hd.mp4",
#     "https://video.pearvideo.com/mp4/third/20191121/cont-1624965-11472701-151804-hd.mp4"
#     ]
def find_url(url):     #遍历抓取视频url的函数
    res=requests.get(url=url,headers=headers).text
    tree=etree.HTML(res)
    name=tree.xpath('//div[@class="popularem-ath"]/a/h2/text()')
    detail_url=tree.xpath('//li[@class="popularem clearfix"]/div[@class="popularem-ath"]/a/@href')
    video_lis=[]
    for n,d in zip(name,detail_url):
        video_name=n+".mp4"
        video_path=path+video_name
        detail_url="https://www.pearvideo.com/"+d
        res_detail=requests.get(url=detail_url,headers=headers).text
        video_url=re.findall(r'srcUrl="(.*?)",vdoUrl=',res_detail)[0]
        video_lis.append(video_url)
    return video_lis

async def get_page(url):   #定义协程方法爬取url
    async with aiohttp.ClientSession() as session:   #所有with前必须有async修饰
        async with await session.get(url,headers=headers) as res:  #耗时的操作必须进行挂起操作
            down_time=time.time()
            page_text=await res.read()  #在获取响应数据之前必须手动挂起
            name=url.split("/")[-1]
            path_name=path+name
            with open(path_name,"wb") as f:
                f.write(page_text)
            print(url+" 下载完成,用时: %.2f秒"%(time.time()-down_time))

urls=find_url("https://www.pearvideo.com/popular_4")  #得到所有视频的url地址列表
tasks=[]
for url in urls:  #将函数的返回值逐一加入到task中
    c=get_page(url)
    task=asyncio.ensure_future(c)
    tasks.append(task)

loop=asyncio.get_event_loop()  #注册循环
loop.run_until_complete(asyncio.wait(tasks))  #启动循环，参数为列表时，固定方法用wait

print(time.time()-start_time)

结果：

单线程异步协程用时171秒

https://video.pearvideo.com/mp4/third/20191120/cont-1624716-10964589-180710-hd.mp4 下载完成,用时: 21.13秒
https://video.pearvideo.com/mp4/third/20191121/cont-1624965-11472701-151804-hd.mp4 下载完成,用时: 23.08秒
https://video.pearvideo.com/mp4/adshort/20191120/cont-1624622-14612668_adpkg-ad_hd.mp4 下载完成,用时: 36.18秒
https://video.pearvideo.com/mp4/third/20191121/cont-1624908-12308265-134207-hd.mp4 下载完成,用时: 43.87秒
https://video.pearvideo.com/mp4/adshort/20191118/cont-1623848-14604356_adpkg-ad_hd.mp4 下载完成,用时: 71.18秒
https://video.pearvideo.com/mp4/third/20191121/cont-1624864-12308265-115404-hd.mp4 下载完成,用时: 108.35秒
https://video.pearvideo.com/mp4/adshort/20191120/cont-1624599-14612561_adpkg-ad_hd.mp4 下载完成,用时: 124.40秒
https://video.pearvideo.com/mp4/third/20191118/cont-1623816-10887340-142811-hd.mp4 下载完成,用时: 165.08秒
171.87573504447937

使用线程池爬取视频网站：

import requests
from lxml import etree
import re
import os
import time
from multiprocessing.dummy import Pool

path="./多线程，多进程/li_video/"  #设置路径
if not os.path.exists(path):
    os.mkdir(path)

headers={
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.70 Safari/537.36"
    }

def download_video(dic):  #抓取视频的函数，传入参数为字典，得先获取字典内的键值
    video_url=dic['url']
    video_path=dic['path']
    video_name=dic['name']
    down_time=time.time()
    video_data=requests.get(url=video_url,headers=headers).content
    with open(video_path,"wb") as f:
        f.write(video_data)
    print(video_name+" 下载完成,用时: %.2f秒"%(time.time()-down_time))

def find_url(url):     #遍历抓取视频url的函数
    res=requests.get(url=url,headers=headers).text
    tree=etree.HTML(res)
    name=tree.xpath('//div[@class="popularem-ath"]/a/h2/text()')
    detail_url=tree.xpath('//li[@class="popularem clearfix"]/div[@class="popularem-ath"]/a/@href')
    video_lis=[]
    for n,d in zip(name,detail_url):
        video_name=n+".mp4"
        video_path=path+video_name
        detail_url="https://www.pearvideo.com/"+d
        res_detail=requests.get(url=detail_url,headers=headers).text
        video_url=re.findall(r'srcUrl="(.*?)",vdoUrl=',res_detail)[0]
        print(video_url)
        dic={                   #将参数存储在字典中
            "path":video_path,
            "url":video_url,
            "name":video_name
        }
        video_lis.append(dic)
    pool=Pool(len(video_lis)) #实例话线程池
    pool.map(download_video,video_lis)
    pool.close()
    pool.join()

    
start_time=time.time()
find_url("https://www.pearvideo.com/popular_4")
end_time=time.time()
print("一共用时 %.2f秒"%(end_time-start_time))

结果：
线程池用时187秒

小姐姐要买车，销售竟然想出了这招.mp4 下载完成,用时: 92.09秒
从机油看爱车健康，保养还能这么玩.mp4 下载完成,用时: 100.49秒
环法上海站，我坐它体验了一圈赛道.mp4 下载完成,用时: 138.14秒
林肯总裁不惧车市寒冬,看好飞行家.mp4 下载完成,用时: 145.14秒
在机场举办汽车发布会，他是飞行家.mp4 下载完成,用时: 159.37秒
车市不好，供应商如何调整自己？.mp4 下载完成,用时: 162.65秒
实拍改装领克03:竟和法拉利撞脸？.mp4 下载完成,用时: 187.50秒
Laughing@me
关注
  • 2
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python异步-协程爬取王者荣耀壁纸
11-09
异步协程的方式爬取王者官方皮肤图片，用来做左面壁纸。纯属好玩！ 如果感觉不错，可以给个小赞或关注。不收取任何积分！
python爬虫框架scrapy实战之爬取京东商城进阶篇
09-21
总结，本篇文章通过实例展示了如何使用Scrapy爬取京东商城的进阶技巧，包括处理动态加载内容、分页请求、数据解析和调试。通过学习，读者可以更好地理解和应用Scrapy框架，实现更复杂的网络爬虫项目。
利用协程爬取m3u8视频
weixin_58438072的博客
08-09 1356
利用协程爬取m3u8视频 ​ 在进行了爬虫的相关学习之后，自己尝试爬取了一些视频，但动辄ts文件就几百个，单线程伤不起那时间，一个一个等实在太慢了，想利用多线程，查看相关资料，又说python是假的多线程，而且爬取视频这操作也属于IO阻塞操作多的那种，感觉时间提升也不大，多线程和多进程还有协程，协程挺适合这种的，就毅然决然的使用协程了。注：各位大佬轻喷 一.查看网站并分析 1.找到各集数对应网站 首先理清爬取思路，对我这种刚入门的菜鸡来说，爬视频就是看它是不是mp4，或者是不是m3u8格式的，但如标题所言，
Python爬虫（四）——高性能异步爬取网上视频
零陵上将军_xdr的博客
07-29 869
高性能异步爬虫 目的：在爬虫中使用异步实现高性能的数据爬取操作。 异步爬虫的方式： 1.多线程，多进程（不建议）： 好处：可以为相关阻塞的操作单独开启线程或者进程，阻塞操作就可以异步执行。 弊端：无法无限制的开启多线程或者多进程。 2.线程池、进程池（适当的使用）： 好处：我们可以降低系统对进程或者线程创建和销毁的一个频率，从而很好的降低系统的开销。 弊端：池中线程或进程的数量是有上限。 爬取百度视频案例 首先进入网址 百度视频，打开开发者工具，可以知道每个视频链接在li标签下 进入视频主页，打开开发者
利用协程爬取某网站
pythoncsdn111的博客
07-22 501
爬取详情页 import gevent from gevent import monkey monkey.patch_all() import requests import redis from queue import Queue import json # 定义一个函数用于请求每一个id对应的详情页 def request_detail(poiId_queue,comment_queue)...
第三十二篇 异步爬虫，线程池爬取视频
爱跳水的温文尔雅的laughing
11-24 251
心得：当家里人问起，怎么还不回去老家，我真的不甘心就这样回去，在这个年纪里，已经没有了任何退路。 什么时候要使用多线程： cpu密集型：( 比如一个 while( true ){ i++;} ) IO密集型:(比如一个从磁盘拷贝数据到另一个磁盘的拷贝进程) 1)计算密集型任务。此时要尽量使用多线程，可以提高任务执行效率，例如加密解密，数据压缩解压缩（视频、音频、普通数据） 2)IO密集型，若...
小爬爬4.协程基本用法&&多任务异步协程爬虫示例(大数据量)
weixin_30252709的博客
05-30 143
1.测试学习 (2)单线程: from time import sleep import time def request(url): print('正在请求:',url) sleep(2) print('下载成功:', url) urls = ['www.baidu.com','www.sogou.com','www.goubanjia.com'] ...
Python爬取视频(其实是一篇福利)过程解析
09-18
Python爬取视频的过程涉及到网络请求、文件操作和进度显示等技术。在Python中，我们可以利用requests库来实现HTTP请求，获取视频资源。首先，设置requests.get方法的stream参数为True，这样可以实现流式下载，避免一...
python 爬虫开发-爬取小视频之实时打印文件下载速度demo源码.zip
02-02
本项目名为"python 爬虫开发-爬取小视频之实时打印文件下载速度demo源码"，主要关注如何利用Python实现一个爬虫来下载小视频，并在下载过程中实时显示文件的下载速度。下面我们将深入探讨相关的知识点。 1. **...
python爬虫之异步协程代码
08-19
本篇文章将深入探讨Python中的异步协程代码在爬虫开发中的应用，以提高爬虫的性能和效率。 首先，我们要理解Python的异步编程模型。Python标准库中的`asyncio`模块提供了对异步操作的支持，它基于事件循环（Event ...
异步多视频爬取
weixin_30292745的博客
08-27 132
异步多视频爬取 注意点： 1.多线程 2.js渲染html import requests import re from lxml import etree from multiprocessing.dummy import Pool import os if not os.path.exists("video"): os.mkdir("video") headers = {...
用PHP异步协程控制python爬虫脚本，实现多协程分布式爬取
摩尔小哥
09-19 386
php通过swoole异步协程实现python分布式爬虫
正则+协程--20行代码实现爬取整个网页的图片
梦途的测开笔记
04-14 366
实验分析 1.下载图片，所以需要文件相关的操作 2.想要多任务下载，所以用到协程中的gevent模块--gevent.joinall() 3.因为用到gevent模块，担心有延时操作的话，导入gevent中的monkey模块 4.想要进行网络请求，并读取内容，需要用到 urllib中的request模块 5.想要匹配网页源代码中所有的jpg。需要用到正则表达式--- import re ...
异步多线程下载网页爬取的视频
weixin_30339969的博客
06-14 288
程序改进如下：：： import requestsimport re # 正则模块import uuid # uuid.uuid(4) 可以根据时间戳生成一段世界上唯一的随机字符串# 导入线程池模块from concurrent.futures import ThreadPoolExecutor# 线程（os的资源，一个进程可以开多个线程），但是无法限制好线程数；# 线程池：帮助控制好线程数...
使用 aiohttp 进行异步爬取
weixin_48732879的博客
11-09 221
import asyncio import time import aiohttp st = time.time() urls = ["https://www.baidu.com/", "https://www.baidu.com/"] async def request(url): async with aiohttp.ClientSession() as session: # get(), post() # proxy="http://ip:port"
Python3网络爬虫教程10——ajax异步请求（爬取豆瓣电影数据 ）
Python美丽星球--微信(Felixzfb)
01-24 985
上接： Python3网络爬虫教程9——有道在线翻译项目（破解JS加密过程） https://blog.csdn.net/u011318077/article/details/86592160 7. ajax异步请求 异步请求 一定会有url，请求方法，可能有数据 一般使用json格式 豆瓣排行榜-剧情：https://movie.douban.com/typerank?type_...
爬虫（笔记03）/梨视频—单线程+多任务异步携程（aiohttp和asyncio）
linmeicang的博客
10-07 312
1.案例实现 import requests from lxml import etree import re import asyncio import aiohttp import time import random headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 ...
爬虫案例：ajax异步加载，爬取豆瓣电影排行榜
Programmer_huangtao的博客
10-20 887
from urllib.request import Request,urlopen from fake_useragent import UserAgent #导入相应的库 base_url ='https://movie.douban.com/j/chart/top_list?type=11&interval_id=100%3A90&action=&start={}&...
Python爬虫：爬取各种视频
最新发布
m0_65438914的博客
02-21 4845
各种视频爬取，短视频，中视频，长视频等等
python爬虫，使用多协程以及队列爬取时光网电视剧top100python爬虫，使用多协程以及队列爬取时光网电视剧top100
03-31
以下是一个基于Python 3的多协程以及队列爬取时光网电视剧top100的示例代码： ```python import requests from bs4 import BeautifulSoup import asyncio import aiohttp import time from queue import Queue async def fetch(session, url): async with session.get(url) as response: return await response.text() async def parse(html): soup = BeautifulSoup(html, 'html.parser') for item in soup.select('div[class="mov_con"] ul li'): rank = item.find('span', class_='top_num').text name = item.find('span', class_='mov_title').text score = item.find('span', class_='total_score').text print(rank, name, score) async def worker(session, queue): while not queue.empty(): url = queue.get() html = await fetch(session, url) await parse(html) async def main(): urls = [f'http://www.mtime.com/top/tv/top100/index-{i+1}.html' for i in range(10)] queue = Queue() for url in urls: queue.put(url) async with aiohttp.ClientSession() as session: tasks = [asyncio.create_task(worker(session, queue)) for _ in range(10)] await asyncio.gather(*tasks) if __name__ == '__main__': start_time = time.time() asyncio.run(main()) end_time = time.time() print(f'Time used: {end_time - start_time} seconds') ``` 这段代码使用了Python的asyncio库和aiohttp库来实现多协程异步爬取网页，使用了Python的queue模块来实现任务队列。首先，我们定义了`fetch`函数来异步获取网页内容，其返回值为响应的文本内容。然后，我们定义了`parse`函数来解析网页内容，提取出电视剧的排名、名称和评分，并输出到控制台。接着，我们定义了`worker`函数来作为协程的工作函数，从任务队列中取出一个URL并异步地解析该URL对应的网页。最后，我们定义了`main`函数来创建任务队列，创建异步协程，以及启动异步任务。在`main`函数中，我们先创建了10个URL，然后将这些URL放入任务队列中。接着，我们使用`async with`语句创建一个异步会话，并使用`create_task`函数创建10个异步协程，每个协程都调用`worker`函数，从任务队列中取出一个URL，并异步地解析对应的网页。最后，我们使用`asyncio.gather`函数等待所有的异步协程执行完毕。在程序执行结束后，我们还输出了程序的执行时间。 需要注意的是，由于时光网在一定时间内会对IP进行限制，如果爬虫速度过快可能会被封禁IP，因此我们在程序中设置了一个1秒钟的延时，以避免被封禁。如果您需要更高的爬取速度，请自行调整代码。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值