爬虫
一直快乐的程序媛
这个作者很懒,什么都没留下…
展开
-
定时爬虫示例
本文环境配置: 系统=>windows10:64位 工具=>PyCharm:2018.1.4 语言=>Python:3.6 第三方库 datatime time scrapy sched 编写一个脚本,将改脚本放置 爬虫项目 同级目录下 import datetime import time from scrapy import cmdlin...原创 2019-01-18 15:53:48 · 322 阅读 · 0 评论 -
python爬虫之线程池和进程池
一、需求 爬取某电商网站的数据,先不考虑代理、分布式,先说效率问题(当然你要是请求的太快就会被封掉,亲测,400个请求过去,服务器直接拒绝连接,心碎),步入正题。一般情况下小白的我们第一个想到的是for循环,这个可是单线程啊。那我们考虑for循环直接开他个5个线程,问题来了,如果有一个url请求还没有回来,后面的就干等,这么用多线程等于没用,到处贴创可贴。 二、性能考虑 ...转载 2019-03-12 10:22:01 · 307 阅读 · 0 评论