爬虫
Richard Jewell
这个作者很懒,什么都没留下…
展开
-
图像验证码的破解 cv2+selenium
爬虫图像验证码的破解最近发现一个比较有意思的网站,验证方法也很小众,记录一下网站地址(http://wnlib.com/login.php)一开始我使用pyppeteer工具,可是这个异步的没办法调试,网上资料太少所以改成了sessnium需要验证验证思路:第一种: 一开始使用了第三方打码平台,但是结果不能认认证,本来以为会返回响应坐标点的。第二种:会发现图像中圆点三角部分会有高亮部...原创 2020-04-01 09:12:23 · 471 阅读 · 0 评论 -
使用scrapy + mongodb + redis + selenium获取数据
scrapy的应用1:新建scrapy获取的目录新建爬虫文件一个基本的scrapy工程就新建完成了2:对于settings的基本配置ROBOTSTXT_OBEY 协议要关闭COOKIES_ENABLED的设置两个自带的管道FilesPipeline 和 ImagesPipeline都可以重写project_dir = os.path.abspath(os.path.di...原创 2020-03-16 15:24:40 · 371 阅读 · 0 评论