![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python多任务模式
Dannys彬彬
这个作者很懒,什么都没留下…
展开
-
python多任务爬虫(四、协程池实现爬虫)
目录协程池实现爬虫1 协程池模块使用介绍2 使用协程池实现爬虫的具体实现过程案例 协程池实现爬虫 1 协程池模块使用介绍 协程池模块 import gevent.monkey gevent.monkey.path_all() from gevent.pool import Pool 2 使用协程池实现爬虫的具体实现过程案例 # coding=utf-8 import gevent.monkey gevent.monkey.path_all() from gevent.pool import P原创 2020-06-30 09:56:48 · 498 阅读 · 0 评论 -
python多任务爬虫(三、线程池实现爬虫)
目录线程池实现爬虫1 线程池使用方法介绍2 使用线程池实现爬虫的具体实现案例 线程池实现爬虫 1 线程池使用方法介绍 实例化线程池对象 from multiprocessing.dummy import Pool pool = Pool(process=5) #默认大小是cup的个数 把从发送请求,提取数据,到保存合并成一个函数,交给线程池异步执行 使用方法pool.apply_async(func) def exetute_requests_item_save(self): ur原创 2020-06-30 09:52:41 · 705 阅读 · 0 评论 -
python高效爬虫(二、多进程)
目录多进程爬虫1 多进程程的方法使用2 多进程中队列的使用3 具体实现案例 多进程爬虫 1 多进程程的方法使用 from multiprocessing import Process #导入模块 t1 = Process(targe=func,args=(,)) #使用一个进程来执行一个函数 t1.daemon = True #设置为守护进程 t1.start() #此时线程才会启动 2 多进程中队列的使用 多进程中使用普通的队列模块会发生阻塞,对应的需要使用multiprocessing提供的Jo原创 2020-06-30 09:45:01 · 310 阅读 · 0 评论 -
python高效爬虫(一、多线程)
目录多线程爬虫1 多线程实现思路剖析2 案例 多线程爬虫 1 多线程实现思路剖析 把爬虫中的每个步骤封装成函数,分别用线程去执行 不同的函数通过队列相互通信,函数间解耦 2 案例 # coding=utf-8 import requests from lxml import etree from queue import Queue import threading class Qiubai: def __init__(self): self.temp_url = "ht原创 2020-06-30 09:38:42 · 315 阅读 · 0 评论 -
多任务(三、协程)
目录迭代器1. 可迭代对象2. 如何判断一个对象是否可以迭代3. 可迭代对象的本质4. iter()函数与next()函数5. 如何判断一个对象是否是迭代器6. 迭代器Iterator7. for...in...循环的本质8. 迭代器的应用场景9. 并不是只有for循环能接收可迭代对象生成器1. 生成器2. 创建生成器方法13. 创建生成器方法2总结4. 使用send唤醒使用send使用next函数协程协程简介协程和线程差异简单实现协程`greenlet`库安装方式`gevent`库安装1. gevent的原创 2020-06-12 16:29:28 · 142 阅读 · 0 评论 -
多任务(二、多进程)
目录进程以及状态1. 进程概念2. 进程的状态进程的创建-multiprocessing1. 2个while循环一起执行2. 进程pid3. Process语法结构如下:4. 给子进程指定的函数传递参数5. 进程间不同享全局变量进程、线程对比功能定义的不同区别优缺点进程间通信-Queue1. Queue的使用说明2. Queue实例进程池Pool进程池中的Queue 进程以及状态 1. 进程概念 程序:例如xxx.py这是程序,是一个静态的 进程:一个程序运行起来后,代码+用到的资源 称之为进程,它是操作原创 2020-06-12 15:55:53 · 259 阅读 · 0 评论 -
多任务(一、多线程)
目录多任务的概念线程1. 使用threading模块2. 主线程会等待所有的子线程结束后才结束3. 查看线程数量4. 线程的执行顺序5. 总结多线程-共享全局变量列表当做实参传递到线程中多线程-共享全局变量问题多线程开发可能遇到的问题同步的概念解决线程同时修改全局变量的方式互斥锁上锁解锁过程 多任务的概念 什么叫“多任务”呢?简单地说,就是操作系统可以同时运行多个任务。打个比方,你一边在用浏览器上网,一边在听MP3,一边在用Word赶作业,这就是多任务,至少同时有3个任务正在运行。还有很多任务悄悄地在后台原创 2020-06-12 15:26:23 · 465 阅读 · 0 评论