- 博客(5)
- 收藏
- 关注
转载 python爬虫之线程池和进程池
一、需求 爬取某电商网站的数据,先不考虑代理、分布式,先说效率问题(当然你要是请求的太快就会被封掉,亲测,400个请求过去,服务器直接拒绝连接,心碎),步入正题。一般情况下小白的我们第一个想到的是for循环,这个可是单线程啊。那我们考虑for循环直接开他个5个线程,问题来了,如果有一个url请求还没有回来,后面的就干等,这么用多线程等于没用,到处贴创可贴。二、性能考虑 ...
2019-03-12 10:22:01
295
原创 定时爬虫示例
本文环境配置:系统=>windows10:64位工具=>PyCharm:2018.1.4语言=>Python:3.6第三方库datatimetimescrapysched编写一个脚本,将改脚本放置 爬虫项目 同级目录下import datetimeimport timefrom scrapy import cmdlin...
2019-01-18 15:53:48
315
原创 关于selenium模拟检测机制
(例如淘宝)检测selenium指纹,其中起重要作用的是navigator.webdriver的值,当你用selenium打开页面时,这个值为True,而正常访问时是undefined。基本思路是更改相应的js值除此之外,还有一些其它的标志性字符串(不同的浏览器可能会有所不同),常见的特征串如下所示:webdriver __driver_evaluate __webdriver_...
2019-01-16 09:50:47
1260
原创 解决滑块验证问题(selenium, opencv)
本文环境配置:系统=>windows10:64位工具=>PyCharm:2018.1.4语言=>Python:3.6第三方库urllib3opencvseleniumPILgeckodriver.exe(火狐)或 Chromedriver.exe 本次主要是使用selenium模拟滑动验证最终目标:实现自动点击滑块,并且拖动完成验...
2019-01-16 09:24:42
3852
原创 【Python练习题 】 有一对兔子,从出生后第3个月起每个月都生一对兔子,小兔子长到第三个月后每个月又生一对兔子,假如兔子都不死,问每个月的兔子总数为多少?
关于斐波那契数列的兔子繁殖问题可以如下理解:实际月份 1 2 3 4 5 6 7 8幼仔对数 1 0 1 1 2 3 5 8成兔对数 0 1 1 2 3 5 8 13总体对数 1 1 2 3 5 8 13 21幼仔对数=前月成兔对数成兔对数=前月成兔对数+前月幼仔对数总体对数=本月成兔对数+本月幼仔对数month=input("请输入月份:")if month.isdigit...
2018-11-15 18:16:24
12603
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人