- 博客(5)
- 收藏
- 关注
RSS订阅转载 python爬虫之线程池和进程池
一、需求 爬取某电商网站的数据，先不考虑代理、分布式，先说效率问题（当然你要是请求的太快就会被封掉，亲测，400个请求过去，服务器直接拒绝连接，心碎），步入正题。一般情况下小白的我们第一个想到的是for循环，这个可是单线程啊。那我们考虑for循环直接开他个5个线程，问题来了，如果有一个url请求还没有回来，后面的就干等，这么用多线程等于没用，到处贴创可贴。二、性能考虑 ...
2019-03-12 10:22:01
320
原创 定时爬虫示例
本文环境配置：系统=>windows10：64位工具=>PyCharm：2018.1.4语言=>Python：3.6第三方库datatimetimescrapysched编写一个脚本,将改脚本放置 爬虫项目 同级目录下import datetimeimport timefrom scrapy import cmdlin...
2019-01-18 15:53:48
333
原创 关于selenium模拟检测机制
（例如淘宝）检测selenium指纹，其中起重要作用的是navigator.webdriver的值，当你用selenium打开页面时，这个值为True，而正常访问时是undefined。基本思路是更改相应的js值除此之外，还有一些其它的标志性字符串（不同的浏览器可能会有所不同），常见的特征串如下所示：webdriver __driver_evaluate __webdriver_...
2019-01-16 09:50:47
1294
原创 解决滑块验证问题（selenium, opencv）
本文环境配置：系统=>windows10：64位工具=>PyCharm：2018.1.4语言=>Python：3.6第三方库urllib3opencvseleniumPILgeckodriver.exe（火狐）或 Chromedriver.exe 本次主要是使用selenium模拟滑动验证最终目标：实现自动点击滑块，并且拖动完成验...
2019-01-16 09:24:42
3908
原创 【Python练习题 】 有一对兔子，从出生后第3个月起每个月都生一对兔子，小兔子长到第三个月后每个月又生一对兔子，假如兔子都不死，问每个月的兔子总数为多少？
关于斐波那契数列的兔子繁殖问题可以如下理解：实际月份 1 2 3 4 5 6 7 8幼仔对数 1 0 1 1 2 3 5 8成兔对数 0 1 1 2 3 5 8 13总体对数 1 1 2 3 5 8 13 21幼仔对数=前月成兔对数成兔对数=前月成兔对数+前月幼仔对数总体对数=本月成兔对数+本月幼仔对数month=input("请输入月份:")if month.isdigit...
2018-11-15 18:16:24
12708
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人