Python 爬虫线程

最新推荐文章于 2024-07-10 18:18:26 发布
最新推荐文章于 2024-07-10 18:18:26 发布
阅读量287 收藏
点赞数
分类专栏： # 爬虫 文章标签： 爬虫 python 多线程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/YKenan/article/details/112002542
版权

Python 爬虫线程

免责声明：自本文章发布起, 本文章仅供参考，不得转载，不得复制等操作。浏览本文章的当事人如涉及到任何违反国家法律法规造成的一切后果由浏览本文章的当事人自行承担与本文章博客主无关。以及由于浏览本文章的当事人转载，复制等操作涉及到任何违反国家法律法规引起的纠纷和造成的一切后果由浏览本文章的当事人自行承担与本文章博客主无关。

1. 基础知识

爬取请求过程中遇到阻塞, 采用高性能异步爬虫爬取数据.

异步爬虫方式:

  1. 多线程, 多进程.
    1.1 好处: 可以为每一个阻塞操作开启单独的线程或者进程, 实现异步进行.
    1.2 弊端: 不可以无限制的开启多进程或者多线程, 开启过多系统的开销大, 也会降低爬取速度.
  2. 线程池, 进程池. (适当使用)
    2.1 好处: 降低了系统对线程或者进程创建和销毁的频率, 降低系统的开销.
    2.2 弊端: 池中的线程或者进程的数量有上限.
  3. 单线程 + 异步协程. (推荐)

协程相关知识点:

  1. event_loop: 事件循环, 相当子一个无限循环, 可以把一些函数注册到这个事件循环上, 当满足某些条件的时候, 函数就会被循环执行.
  2. coroutine: 协程对象, 我们可以将协程对象注册到事件循环中, 它会被事件循环调用. 可以使用 async 关键字来定义一个方法, 这个方法在调用时不会立即被执行, 而是返回一个协程对象.
  3. task: 任务, 它是对协程对象的进一步封装, 包含了任务的各个状态.
  4. future: 代表将来执行或还没有执行的任务, 实际上和 task 没有本质区别. async 定义一个协程.
  5. await: 用来挂起阻塞方法的执行.

2. 线程基本使用

单线程串行方式, 未使用线程池.

#!/usr/bin/env python
# -*- coding: UTF-8 -*-

# 导包
import time


# 发送请求
def get_page(page):
    print("开始加载: %d" % page)
    time.sleep(2)
    print("加载完成: %d" % page)


if __name__ == '__main__':
    # pages
    pages = [1, 2, 3, 4]

    # 开始时间
    start_time = time.time()

    # 开始加载
    for p in pages:
        get_page(p)

    # 结束时间
    end_time = time.time()

    # 总时间
    print("总时间: %d s" % (end_time - start_time))

在这里插入图片描述

使用线程池方式执行

#!/usr/bin/env python
# -*- coding: UTF-8 -*-

# 导包
from multiprocessing.dummy import Pool
import time


# 发送请求
def pool_page(page):
    print("开始加载: %d" % page)
    time.sleep(2)
    print("加载完成: %d" % page)


if __name__ == '__main__':

    # 对象
    pages = 4

    # 计算运行时间
    start_time = time.time()

    # 实例化线程对象
    pool = Pool(4)
    # 将 list 的每一个元素传递给 pool_page(page) 处理
    pool_map = pool.map(pool_page, range(1, pages + 1))
    # 关闭线程
    pool.close()

    # 总时间
    print("总时间: %d s" % (time.time() - start_time))

在这里插入图片描述

3. 协程基本使用

基础使用

#!/usr/bin/env python
# -*- coding: UTF-8 -*-

import asyncio


# async 修饰的函数
async def request_url(url):
    print("正在请求 " + url)
    print("成功请求 " + url)


if __name__ == '__main__':
    # 得到协程对象
    coroutine = request_url("www.baidu.com")

    # 创建一个事件循环对象
    loop = asyncio.get_event_loop()

    # 将协议对象注册到 loop 中, 然后启动 loop
    loop.run_until_complete(coroutine)

在这里插入图片描述

task 的基本使用.

#!/usr/bin/env python
# -*- coding: UTF-8 -*-

import asyncio


# async 修饰的函数
async def request_url(url):
    print("正在请求 " + url)
    print("成功请求 " + url)


if __name__ == '__main__':
    # 得到协程对象
    coroutine = request_url("www.baidu.com")

    # 创建一个事件循环对象
    loop = asyncio.get_event_loop()

    # 创建 task 对象
    task = loop.create_task(coroutine)
    print(task)

    # 将 task 对象注册到 loop 中, 然后启动 loop
    loop.run_until_complete(task)
    print(task)

在这里插入图片描述

future 任务的基本使用. 和 task 创建对象有区别.
区别在于 task 对象由时间循环创建.

#!/usr/bin/env python
# -*- coding: UTF-8 -*-

import asyncio


# async 修饰的函数
async def request_url(url):
    print("正在请求 " + url)
    print("成功请求 " + url)


if __name__ == '__main__':
    # 得到协程对象
    coroutine = request_url("www.baidu.com")

    # 创建一个事件循环对象
    loop = asyncio.get_event_loop()

    # 创建 task 对象
    task = asyncio.ensure_future(coroutine)
    print(task)

    # 将 task 对象注册到 loop 中, 然后启动 loop
    loop.run_until_complete(task)
    print(task)

在这里插入图片描述

绑定回调 的基本使用

#!/usr/bin/env python
# -*- coding: UTF-8 -*-

import asyncio


# async 修饰的函数
async def request_url(url):
    print("正在请求 " + url)
    print("成功请求 " + url)
    return url


# 回调函数
def callback(callback_task):
    # result() 方法是任务中封装的协程对象对应函数的返回值
    print(callback_task.result())


if __name__ == '__main__':
    # 得到协程对象
    coroutine = request_url("www.baidu.com")

    # 创建一个事件循环对象
    loop = asyncio.get_event_loop()

    # 创建 task 对象
    task = asyncio.ensure_future(coroutine)

    # 将回调对象绑定在任务对象中, task 成功后完成前看是回调该函数.
    task.add_done_callback(callback)

    # 将 task 对象注册到 loop 中, 然后启动 loop
    loop.run_until_complete(task)

在这里插入图片描述

4. 多任务协程

需要注意:

  1. 异步协程中出现同步模块相关的代码, 则无法进行异步.
  2. 当 asyncio 遇到阻塞操作必须进行手动挂起.
#!/usr/bin/env python
# -*- coding: UTF-8 -*-

import asyncio
import time


# async 修饰的函数
async def request_url(url):
    print("正在请求 " + url)
    # 异步协程中出现同步模块相关的代码, 则无法进行异步
    # time.sleep(2)
    # 当 asyncio 遇到阻塞操作必须进行手动挂起
    await asyncio.sleep(2)
    print("成功请求 " + url)


if __name__ == '__main__':

    # 开始时间
    start_time = time.time()

    # 请求的 url
    urls = [
        "https://www.baidu.com",
        "https://www.sougou.com/",
        "https://blog.csdn.net/"
    ]

    # 任务列表
    tasks = []
    for u in urls:
        # 得到协程对象
        coroutine = request_url(u)
        # 创建任务对象
        task = asyncio.ensure_future(coroutine)
        # 添加任务对象
        tasks.append(task)

    # 创建一个事件循环对象
    loop = asyncio.get_event_loop()

    # 将 tasks 对象封装到 wait 中后注册到 loop 中, 然后启动 loop
    loop.run_until_complete(asyncio.wait(tasks))

    # 总时间
    print("总时间: %d s" % (time.time() - start_time))

在这里插入图片描述

YKenan
关注
专栏目录
Python爬虫之多线程
LDC，公众号【轻松学编程】
07-08 5162
多线程 在介绍Python中的线程之前，先明确一个问题，Python中的多线程是假的多线程！ 为什么这么说，我们先明确一个概念，全局解释器锁（GIL） 一、什么是GIL Python代码的执行由Python虚拟机（解释器）来控制,同时只有一个线程在执行。对Python虚拟机的访问由全局解释器锁（GIL）来控制，正是这个锁能保证同时只有一个线程在运行。 二、为什么要用GIL 为了...
Python爬虫——多线程爬虫如何实现？
qq_46147573的博客
07-09 2052
Python爬虫——多任务线程1.多任务2.主线程与子线程3.查看线程数量 1.多任务 多任务指的是在同一时间不同任务需要同时进行的场景，比如边听歌边刷题，边看电视边吃饭… 要实现多任务的进行，我们首先会想到的方式如下： import time # 吃饭 def Eat(): for i in range(4): print('eating...') time.sleep(1) # 看电视 def Watch(): for i in range(4):
python中的多线程爬虫
a980135330的博客
08-29 920
。，。本文是在学习网络爬虫课程期间写的，目的是为了总结所学的知识，内容都是笔者自己对多线程爬虫的理解，其中多有不足，希望不吝指教。     多线程和单线程的区别在于线程的数量（字面意思理解），但多线程中各个线程之间数据空间和代码都是共享的，且每一个线程都有自己独立的寄存器。    多线程的复杂性和优缺点也基本都是围绕着它数据空间共享的特点衍生出来的，对共享空间数据的安全性，数据操作的互斥性，容
python爬虫——多线程爬虫
蜘蛛侠的博客
09-02 603
在进行爬虫工作的时候，考虑到爬虫运行的速度慢，那么怎样提升爬虫的速度呢，那么就得使用多线程爬虫了，接下来我以糗事百科段子的爬取进行对多线程爬虫的概述： https://github.com/Spider-Man123/Multi-threaded-spider/tree/master 一：不适用多线程爬取糗事百科 1.上代码： import urllib.request import re hea...
python爬虫-多线程
yinger_0131的博客
03-13 407
import urllib.request import threading import re import urllib.error headers=("User-Agent","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.22 Safari/537.36...
Python爬虫——多线程（一）
R71802的博客
06-05 861
pycharm 腾讯课堂 浏览器 n个cpu核心 可以同时执行多个任务线程 进程中的执行单位就是线程（进程中所包含的执行单位就是线程） 一个进程可以包含多个线程在python中 实际上一次只能执行一个线程 存在线程锁 用来解决资源竞争的问题主要用来解决效率问题 I/O操作 网络IO 磁盘IO需要把多线程需要完成的工作写入到事件函数中 可以同时进行多个线程的事件 2.类创建多线程 线程锁 利用线程锁解决资源竞争问题 得先找到可能会出现资源竞争问题得地方找到之后给这个可能得地方上把 锁 上锁要记得解锁不然
python爬虫之多线程、多进程爬虫
02-24
多线程对爬虫的效率提高是非凡的，当我们使用python的多线程有几点是需要我们知道的：1.Python的多线程并不如java的多线程，其差异在于当python解释器开始执行任务时，受制于GIL(全局解释所)，Python的线程被限制到...
python多线程爬虫爬取电影天堂资源
03-15
Python多线程爬虫爬取电影天堂资源是一个实用且具有挑战的项目。以下是对该项目的详细说明: 1. 项目概述: 该项目旨在使用Python编写一个多线程爬虫程序,从电影天堂网站上爬取电影资源信息,包括电影名称、年份、类型...
python爬虫-python多线程爬虫爬取电影天堂资源.zip
02-25
在爬取电影天堂资源的实例中，我们需要理解Python爬虫的基本原理，掌握多线程编程技巧，分析和处理目标网站的结构，以及应对可能出现的反爬策略。通过这些步骤，我们可以构建出一个高效且稳定的多线程爬虫，实现电影...
Python线程池爬虫入门讲解！
Code皮皮虾的博客
09-26 1274
文章目录1、概述2、实例 1、概述 高性能异步爬虫 目的：在爬虫中使用1异步实现高性能的数据爬取操作。 异步爬虫的方式： 多线程，多进程（不建议）： 好处：可以为相关阻塞的操作单独开启线程或进程，阻塞操作就可以异步执行。 弊端：无法无限制的开启多线程或者多进程 线程池、进程池（适当的使用）： 好处：我们可以降低系统对进程或者线程创建和销毁的一个频率，从而很好的降低系统的开销。 弊端：池中线程或进程的数量是有上限的。 2、实例 下面我们使用线程池爬取梨视频讲解 我们直接拿到这三个div标
python爬虫之多线程介绍（一）
Claire_chen_jia的博客
06-10 509
python爬虫之多线程介绍1. 多线程简介1.1 进程与线程1.2 多线程2. 主线程和子线程的执行关系3. join和setDaemon的使用4.查看线程数量5.线程间的通信(多线程共享全局变量) 1. 多线程简介 1.1 进程与线程 此部分的学习参考自：进程与线程 （1）进程：进程是一个具有一定独立功能的程序在一个数据集上的一次动态执行的过程，是操作系统进行资源分配和调度的一个独立单位，是应用程序运行的载体。 其任务调度采用的是时间片轮转的抢占式调度方式，进程是任务调度的最小单位，所以每个进程有各自独
Python3爬虫与多线程
ITMAN009的博客
05-05 1986
Python3爬虫与多线程文章来源：企鹅号 - 你收到一封新邮件本文按如下内容组织：# 介绍这个爬虫的目的、模块，创造原始单线程爬虫# 对这个爬虫进行改造，创造多线程爬虫一、爬虫功能介绍文章标题取的是《Python爬虫与多线程》，而不是《Python多线程爬虫》，因为爬虫的目的是为了获取数据而非炫技。即使没有多线程，单线程的爬虫也可以完成任务，大不了电脑不关放一夜跑（做量化回测中常有的事）。下面就...
【Python爬虫教程】还不会多线程和线程池？这篇教程直接搞定！
白帽阿叁的博客
10-24 352
在学习多线程的使用之前，需要先了解线程、进程的概念。进程是操作系统分配资源和调度的基本单位，它包含了执行程序所需的所有资源。线程是进程内的执行单位，它共享进程的资源，是实现并发编程的重要元素。Python代码的执行由Python虚拟机（解释器主循环）控制。Python在设计之初就考虑到在主循环中只能有一个线程执行，虽然Python解释器中可以“运行”多个线程，但是在任意时刻只有一个线程在解释器中运行。
爬虫多线程
xiao_ao_jiao_renzhen的博客
03-26 806
多线程在之前的scrapy里面已经接触过了，就是里面的yiled，开启一个新的线程。但是这是这是基于这个高级框架的，用的时候只知道这是开启了一个新的线程，并不是很清楚到底是怎么执行的。 而在python里面有包import threading引入这个包之后就可以写自己的多线程了 写多线程的时候需要注意数据的一直性，比如说俩个线程，一个列表， 线程一二同时开始对一个列表进行操作，线程一删除了列表
爬虫---多线程
weixin_45228198的博客
05-05 428
多线程爬虫使用场景队列避免阻塞多线程线程锁 使用场景 多进程： CPU密集型，充分利用计算机的多核，程序并行执行并行执行并行执行，即同时执行，异步独立 多线程： IO密集型，如网络IO，磁盘IO。对线程时，由于python GIL，使得某一时刻只能有一个线程在执行，多线程之间并发执行并发执行并发执行，即一段时间内有两个或两个以上的程序执行。 爬虫属于IO密集型： 发送请求，等待响应—网络IO 解析响应，存储数据—本地IO 所以使用多线程爬虫，可以极大的提高效率 队列 多线程从队列中拿url，请求，解析
python爬虫进阶（一）：多线程
小王@Note的博客
09-11 236
多线程： 什么是多线程： 理解：默认情况下，一个程序只有一个进程和一个线程，代码是依次线性执行的。而多线程则可以并发执行，一次性多个人做多件事，自然比单线程更快。 官方：https://baike.baidu.com/item/多线程/1190404?fr=aladdin 如何创建一个基本的多线程： 使用threading模块下的Thread类即可创建一个线程。这个类有一个target参数，需要指定一个函数，那么以后这个线程执行的时候，就会执行这个函数的代码。示例代码如下： import time im
python多线程小爬虫之练练手
shellc1992的博客
04-30 4245
序： 叮咚叮咚，走过路过不要错过啊。。。 好久没写博客，上次都是几年前了，写过一些android的文章，然而我连账号都忘记了，真尼玛。。。 大数据时代，人工智能，机器学习开始流行了，赶上了这个时代是好的，也是不那么好的，好的是将会为社会带来革命性的洗礼，不那么好的是感觉出生还是太早了点哈哈哈，要是晚几十年生，等我风华正茂的时候，那是多壮观的世界，yy中..... 正文： 好了 ，
python爬虫学习(三十三天)---多线程上篇
最新发布
喔的嘛呀的博客
07-10 1913
hello，小伙伴们！我是喔的嘛呀。今天我们来学习多线程方面的知识。
python爬虫多线程下载
03-19
Python爬虫多线程下载是一种利用多线程技术来提高爬取网页内容的效率的方法。通过同时启动多个线程，每个线程负责下载一个网页或者一个文件，可以同时进行多个下载任务，从而加快下载速度。 以下是Python爬虫多线程...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值