- 博客(2)
- 资源 (6)
- 收藏
- 关注
RSS订阅转载 快速提升爬虫性能的几种方法
爬虫性能相关 一、背景知识 爬虫的本质就是一个socket客户端与服务端的通信过程，如果我们有多个url待爬取，只用一个线程且采用串行的方式执行， 那只能等待爬取一个结束后才能继续下一个，效率会非常低。需要强调的是：对于单线程下串行N个任务，并不完全等同于低效， 如果这N个任务都是纯计算的任务，那么该线程对cpu的利用率仍然会很高，之所以单线程下串行多个爬虫任务低效， 是因为爬虫任务...
2019-06-23 20:38:19
2464
原创 python 插件架构 多线程多任务
目的：很多时候，我们需要多个不同策略去完成一个任务，那个插件架构是很好一个选择。而每一个策略，不希望一个个去执行，还能实时上报数据，所以每一个插件都是异步执行，把每一个插件结果回调方法实时上报，然后写入数据。 线程工具类 #app/MyThread.py import threading class MyThread(threading.Thread): def __in...
2019-06-22 07:59:08
475
fcntl.py.zip
##############################################
下载后，
放入python27/lib/下即可； #############################################
2018-01-29
一键获取shell python版 v3.0
一键获取shell python版 v3.0
1） 输出报表
2）可以ctr+c终止
3）自定义过滤条件，以逗号隔开
4）可以自定义多个关键字，以逗号隔开
5)送指纹录入工具
6）带一句话验证功能
2016-11-18
cocos2d-x 3.4 中文乱码解决 iconv库
cocos2d-x 3.4 中文乱码解决 iconv库，使用简单，只需要应用头文件，同时调用code_convert_init()；初始化指针，就可以随心所欲使用啦
2015-07-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人