python爬虫系列——开始入土（四）

最新推荐文章于 2023-01-16 22:06:34 发布
最新推荐文章于 2023-01-16 22:06:34 发布
阅读量331 收藏 1
点赞数 1
分类专栏： python 文章标签： python 爬虫 异步 多线程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36171287/article/details/113803880
版权
本文介绍了同步和异步爬虫的概念与区别，包括使用requests库的同步爬虫示例和基于aiohttp的异步爬虫实现。同步爬虫逐个下载图片，而异步爬虫利用事件循环和协程提高效率。文中还展示了如何使用线程池和协程优化爬虫性能，并给出了针对特定网站的实战案例，涉及多线程、多进程、线程池和异步协程。实战部分包括模拟请求、动态数据抓取以及视频链接的解密和存储。
摘要由CSDN通过智能技术生成

高性能异步爬虫

同步爬虫

例子：url是阻塞爬取的，执行完毕上一个图片爬取才会执行下一个图片爬取。 是单线程的。

import requests

header = {'User-Agent': 'Mozilla/4.0(compatible;MSIE8.0;WindowsNT6.0;Trident/4.0)'}

urls = [
    'http://pic.netbian.com/uploads/allimg/210122/195550-1611316550d711.jpg',
    'http://pic.netbian.com/uploads/allimg/180803/084010-15332568107994.jpg',
    'http://pic.netbian.com/uploads/allimg/190415/214606-15553359663cd8.jpg'
]

# 封装方法  获取url内容
def get_content(url):
    print('正在爬取', url)
    response = requests.get(url=url, headers=header)
    if response.status_code == 200:
        return response.content

def parse_content(content):
    print('响应数据的长度为：', len(content))

for url in urls:
    content = get_content(url)
    parse_content(content)

异步爬虫

方式：

  • 多线程，多进程（不建议）：
    • 好处：可以为相关阻塞的操作单独开启线程或者进程，阻塞操作就可以异步执行
    • 弊端：无法无限制的开启多线程或者多进程
  • 线程池、进程池（适当使用）：
    • 好处：可以降低系统对进程或者线程创建和消耗，从而很好的降低系统的开销
    • 弊端：池中线程或进程的数量是有上限的
  • 单线程 + 异步协程（推荐）：
    • event_loop：事件循环，相当于一个无线循环，可以把一些函数注册到这个事件循环上，当满足某些条件时，函数就会被循环执行。
    • coroutine：协程对象，可以将协程对象注册到事件循环中，它会被事件循环调用。可以使用async关键字来定义一个方法，这个方法在调用时不会立即被执行，而是返回一个协程对象
    • task：任务，是对协程对象的进一步封装，包含了任务的各个状态
    • future：代表将来执行或还没有执行的任务，实际上和task没有本质区别
    • async：定义一个协程
    • await：用来挂起阻塞方法的执行

注意

在协程当中，需要使用aiohttp模块来代替requests来进行异步网络请求。
requests.get是基于同步的
代码：

import aiohttp
# 使用该模块中的ClientSession
async def get_page(url):
    async with aiohttp.ClientSession() as session:
        async with await session.get(url=url) as response:
            # text() 返回字符串形式的响应数据
            # read() 返回的二进制形式响应数据
            # json() 返回的是json对象
            # 注意：获取响应数据操作之前一定要使用await进行挂起
            page_text = await response.text()
            print(page_text)

python实例化一个线程池对象

from multiprocessing.dummy import Pool
# 实例化一个线程池对象
pool = Pool(4)

协程：

import asyncio

async def request(url):
    print('请求url:', url)
# async修饰的函数，调用后返回一个协程对象
c = request('www.wzc.com')
# 创建一个事件循环对象
loop = asyncio.get_event_loop()
# 将协程对象注册到事件循环中,启动loop
loop.run_until_complete(c)

线程池原则

线程池处理的是阻塞且耗时的操作

实战

爬取来源网站：https://www.pearvideo.com/category_8

注意：在进入单个视频页面前的操作都比较基础，在进入单个页面后，视频是动态获取的，需要通过Ajax来进行数据传递获取
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

获取ajax数据时需要添加的参数，在header中需要添加Referer

post_url = 'https://www.pearvideo.com/videoStatus.jsp'
    data = {
        'contId': id_,
        'mrd': str(random.random()),

    }
    ajax_headers = {
        'User-Agent': random.choice(user_agent_list),
        'Referer':'https://www.pearvideo.com/video_' + id_
    }
    response = requests.post(post_url, data, headers=ajax_headers)

代码：

import requests
from lxml import etree
import random
import os
import time
from multiprocessing.dummy import Pool

user_agent_list=[
            'Mozilla/5.0(compatible;MSIE9.0;WindowsNT6.1;Trident/5.0)',
            'Mozilla/4.0(compatible;MSIE8.0;WindowsNT6.0;Trident/4.0)',
            'Mozilla/4.0(compatible;MSIE7.0;WindowsNT6.0)',
            'Opera/9.80(WindowsNT6.1;U;en)Presto/2.8.131Version/11.11',
            'Mozilla/5.0(WindowsNT6.1;rv:2.0.1)Gecko/20100101Firefox/4.0.1',
            'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.71 Safari/537.1 LBBROWSER',
            'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E)',
            'Mozilla/5.0 (Windows NT 5.1) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.84 Safari/535.11 SE 2.X MetaSr 1.0',
            'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Maxthon/4.4.3.4000 Chrome/30.0.1599.101 Safari/537.36',
            'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.122 UBrowser/4.0.3214.0 Safari/537.36',
            'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36 OPR/26.0.1656.60',
            'Opera/8.0 (Windows NT 5.1; U; en)',
            'Mozilla/5.0 (Windows NT 5.1; U; en; rv:1.8.1) Gecko/20061208 Firefox/2.0.0 Opera 9.50',
            'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; en) Opera 9.50',
            'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:34.0) Gecko/20100101 Firefox/34.0',
            'Mozilla/5.0 (X11; U; Linux x86_64; zh-CN; rv:1.9.2.10) Gecko/20100922 Ubuntu/10.10 (maverick) Firefox/3.6.10',
            'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534.57.2 (KHTML, like Gecko) Version/5.1.7 Safari/534.57.2',
            'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.71 Safari/537.36',
            'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11',
            'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.133 Safari/534.16',
            'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.11 TaoBrowser/2.0 Safari/536.11',
            'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.71 Safari/537.1 LBBROWSER',
            'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; LBBROWSER)',
            'Mozilla/5.0 (Windows NT 5.1) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.84 Safari/535.11 SE 2.X MetaSr 1.0',
            'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SV1; QQDownload 732; .NET4.0C; .NET4.0E; SE 2.X MetaSr 1.0)',
            'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.122 UBrowser/4.0.3214.0 Safari/537.36'
        ]

# 视频地址url解密,返回正确视频路径
def videoUrlDeal(video_url, id_):
    # 得到真url,做字符串处理
    video_true_url = ''
    s_list = str(video_url).split('/')
    for i in range(0, len(s_list)):
        if i < len(s_list) - 1:
            video_true_url += s_list[i] + '/'
        else:
            ss_list = s_list[i].split('-')
            for j in range(0, len(ss_list)):
                if j == 0:
                    video_true_url += 'cont-' + id_ + '-'
                elif j == len(ss_list) - 1:
                    video_true_url += ss_list[j]
                else:
                    video_true_url += ss_list[j] + '-'
    return video_true_url

def testPost(id_):
    post_url = 'https://www.pearvideo.com/videoStatus.jsp'
    data = {
        'contId': id_,
        'mrd': str(random.random()),

    }
    ajax_headers = {
        'User-Agent': random.choice(user_agent_list),
        'Referer':'https://www.pearvideo.com/video_' + id_
    }
    response = requests.post(post_url, data, headers=ajax_headers)
    page_json = response.json()
    # print(page_json['videoInfo']['videos']['srcUrl'])
    return videoUrlDeal(page_json['videoInfo']['videos']['srcUrl'], id_)

# 存储视频到本地
def saveVideo(data):
    true_url = data[0]
    videoTitle = data[1]
    content = requests.get(url=true_url, headers=header).content
    with open('./video/' + videoTitle + '.mp4', 'wb') as fp:
        fp.write(content)
        print(true_url, videoTitle, '存储成功')

if __name__ == '__main__':
    # 创建一个文件夹，保存所有的图片
    if not os.path.exists('./video'):
        os.mkdir('./video')
    header = {'User-Agent': 'Mozilla/4.0(compatible;MSIE8.0;WindowsNT6.0;Trident/4.0)'}
    url = 'https://www.pearvideo.com/category_8'

    # 对url发起请求，解析出视频详情也的url和视频名称
    response = requests.get(url=url, headers=header)
    tree = etree.HTML(response.text)
    li_list = tree.xpath('//ul[@class="category-list clearfix"]/li')
    true_url_list = []
    for li in li_list:
        videoTitle = li.xpath('./div[@class="vervideo-bd"]/a/div[@class="vervideo-title"]/text()')[0]
        videoHref = 'https://www.pearvideo.com/' + li.xpath('./div[@class="vervideo-bd"]/a/@href')[0]

        # 对详情页url发起请求 (此页面已更改)
        # videoText = requests.get(url=videoHref, headers=header).text
        # 从详情页中解析出视频的地址，通过id（url)
        id = videoHref.split('_')[1]
        true_url_list.append((testPost(id),videoTitle))
    # print(true_url_list)

    # 实例化一个线程池对象，进行多线程存储
    pool = Pool(5)
    pool.map(saveVideo, true_url_list)
    pool.close()
    pool.join()

爬取结果：
在这里插入图片描述
在这里插入图片描述

空城机
关注
专栏目录
OpenCV 模块
阿牧路泽
03-14 814
OpenCV 模块的使用
Python 爬虫之GRequests异步模块
Mr_Zhen的博客
06-13 4075
Python 爬虫之GRequests异步模块   十分想念顺店杂可。。。   运行环境： 系统： win10 Python版本： Python 3.6.6   GRequests是异步非阻塞的异步请求第三方包，使用了协程gevent，GRequests封装了gevent的requests模块。   安装：   pip install greq...
爬虫请求模块（同步异步）
General_zy的博客
01-16 2082
requests模块支持HTTP连接保持和连接池，支持使用cookie保持会话，支持文件上传，支持自动响应内容的编码，支持国际化的URL和POST数据自动编码。在python内置模块的基础上进行了高度的封装，从而使得python进行网络请求时，变得人性化，使用Requests可以轻而易举的完成浏览器可有的任何操作。以下的请求都是快捷方法，利用的是requests构造好的session对象的request方法。上面的文件读取依旧是阻塞的，异步的文件操作模块有专用的aiofiles。
【爬虫小白】异步爬虫原理和解析
偷得浮生半日闲
02-24 890
异步基础概念 在了解异步协程之前，先得了解一些基础概念，如堵塞和非堵塞、同步和异步、多进程和协程。 阻塞 阻塞状态指程序未得到所需计算资源被挂起的状态。程序在等待某个操作完成期间，自身无法继续处理其它的事情，则称该程序在该操作上是阻塞的。 常见的阻塞形式有：网络I/O阻塞、磁盘I/O阻塞、用户输入阻塞等。阻塞是无处不在的，包括CPU切换上下文时，所有的进程都无法真正处理事情，它们也会被阻塞。如果是多核CPU则正在执行上下文切换操作的核不可被利用。 非阻塞 程序在等待某操作过程中，自身不被阻塞，可
python异步requests_python-3.x – 如何使用asyncio在Python 3中异步运行requests.get？
weixin_39688870的博客
11-29 416
我正在尝试创建简单的Web监控脚本,该脚本定期和异步地将GET请求发送到列表中的URL.这是我的请求功能：def request(url,timeout=10):try:response = requests.get(url,timeout=timeout)response_time = response.elapsed.total_seconds()if response.status_code...
异步http请求aiohttp的学习(关于同步的requests.get和requests.post的异步应用)
weixin_51415327的博客
03-31 3000
首先需要导入aiohttp模块 import aiohttp 其次通过aiohttp.ClientSession()来代替requests async with aiohttp.ClientSession() as session: # requests async with session.get(url) as resp: # resp = requests.get() 执行完上述操作后即可获得所请求的url的内容 使用异步操作时,需要注意的是与同步操作的细微差异 -
使用 aiohttp 和 asyncio 进行异步请求
getcomputerstyle的博客
11-03 5417
使用协程的异步请求以其低时消耗和对硬件的高利用而著称，翻看了很多论坛，发现协程在进行爬虫以及高频网络请求时的耗时比单多进程和单多线程还要好。本文将使用requests和使用aiohttp+asyncio进行比较，比较一下具体使用协程和不使用协程能差距多少。 本文测试所使用目标网址是廖雪峰老师python3教程的评论页 目前一共有2318页。 1.使用requests获取单个网址 import
可执行源码python爬虫实例——基于python实现有道云翻译接口
01-01
可执行源码python爬虫实例——基于python实现有道云翻译接口
Python爬虫入门——Requests库
12-23
学习爬虫之前呢，最好要对HTTP协议有了解，我前面有写过几篇关于HTTP协议的文章，建议读者阅读一下，对爬虫帮助很大。 1. requests 库的几个主要方法 方法 说明 requests.request（） 构造一个网页请求，支撑...
Python爬虫入门——信息组织与提取方法（2）
01-20
1. 信息提取的一般方法   指从标记的信息中提取关注的内容。上一章提到的信息标记有三种形式：XML、JSON、YAML。 一般意义上的几种方法: 方法一：完整的解析信息的标记形式，再提取关键信息。...
"玩转Python爬虫——入门与实践"课程源码
05-09
在“玩转Python爬虫——入门与实践”这门课程中，你将深入学习到Python爬虫的基础知识和实战技巧。Python爬虫是数据采集的重要工具，尤其在大数据时代，爬虫技术对于获取网络上的非结构化信息具有举足轻重的作用。本...
大数据技术python_大数据技术 Python连接presto详解
weixin_35489715的博客
01-13 566
本篇教程探讨了大数据技术 Python连接presto详解，希望阅读本篇文章以后大家有所收获，帮助大家对大数据技术的理解更加深入。<如果要使用Python来连接Presto，就需要相关的驱动包。目前发现有两个驱动包，分别是：pyhive:https://github.com/dropbox/PyHivepresto-python-client:https://github.com/p...
Python数据抓取——多线程，异步
公众号：瑞行AI
10-12 1万+
本文主要是为了加快数据抓取任务，考虑使用多进程、多线程、异步原理，相关概念可以参考 https://www.liaoxuefeng.com/wiki/001374738125095c955c1e6d8bb493182103fac9270762a000/0013868322563729e03f6905ea94f0195528e3647887415000操作系统可以同时运行多个任务。首先，考虑单核CP
爬虫之requests异步抓取、多协成、多线程（六）
qq_41359817的博客
08-22 5243
1、线程池2、协程2.1代理池、多协程分页爬取图片 1、线程池 模拟阻塞 import time #导入线程池模块对应的类 from multiprocessing.dummy import Pool #使用线程池方式执行 start_time = time.time() def get_page(str): print("正在下载 ：",str) time.sleep(2) print('下载成功：',str) name_list =['xiaozi','aa','bb','cc.
python Request库的get()方法
热门推荐
k_koris的博客
10-06 21万+
    1. Request库的get（）方法： 最通常的方法是通过r=request.get（url）构造一个向服务器请求资源的url对象。 这个对象是Request库内部生成的。 这时候的r返回的是一个包含服务器资源的Response对象。包含从服务器返回的所有的相关资源。 url是什么？ url是通过http协议存取资源的一个路径，它就像我们电脑里面的一个文件的路径一样。  ...
python ahttp：简单、高效、异步requests请求模块
getcomputerstyle的博客
11-11 1万+
ahttp：简单、高效、异步requests请求模块 ahttp 是一个所有的http连接请求均使用协程的方式。 使请求过程中 IO 操作交给其他硬件，而CPU专注于处理计算型任务，可以大量的节约等待的时间。 适用版本： PYTHON 3.7 快速开始 安装 你可以通过以下方式快速安装： pip install ahttp 单个请求 使用是非常简单的： import ahttp url = ...
如何判断request是同步还是异步（转载）
Z_Y_J_1_2_3的专栏
04-20 3811
在服务器端判断request来自Ajax请求(异步)还是传统请求(同步) 　　在服务器端判断request来自Ajax请求(异步)还是传统请求(同步)：   　　两种请求在请求的Header不同，Ajax 异步请求比传统的同步请求多了一个头参数   　　1、传统同步请求参数   　　　 accept  text/html,application/xhtml+xml,appli
python爬虫招聘网站数据分析_Python爬虫实例——基于招聘网站发帖数据
最新发布
06-06
好的，您的问题是关于Python爬虫和数据分析的实例，基于招聘网站发帖数据。这是一个非常有趣和实用的应用场景，以下是一个简单的实现步骤： 1. 确定目标网站：选择一个大型的招聘网站，比如智联招聘、拉钩网等； 2. 学习网站结构：分析网站结构，确定需要爬取哪些信息，比如职位名称、薪资、公司名称、工作地点等； 3. 编写爬虫程序：使用Python的爬虫库（比如requests、BeautifulSoup、Scrapy等）编写爬虫程序，爬取目标网站的数据； 4. 数据清洗和处理：对爬取的数据进行清洗和处理，比如去除重复数据、格式化数据等； 5. 数据分析和可视化：使用Python的数据分析库（比如pandas、matplotlib、seaborn等）对数据进行分析和可视化，比如职位数量、薪资分布、热门岗位等。 这是一个简单的实现步骤，具体的实现细节还需要根据实际情况进行调整。希望能对您有所帮助！
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

空城机

有钱捧个钱场，没钱捧个人场

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值