爬虫
洞之蝉
真正想做的人总是什么也不说,扭头就去做了。
展开
-
如何维护一个1000 IP的免费代理池
楔子好友李博士要买房了, 前几天应邀帮他抓链家的数据分析下房价, 爬到一半遇到了验证码.李博士的想法是每天把链家在售的二手房数据都抓一遍, 然后按照时间序列分析. 链家线上在交易的二手房数据大概有30000余套, 而一天只有86400秒, 也就是最慢3s也要访问一个页面. 测试按照这种频率, 大概访问100个页面就会被封了, 而且封锁的时间还不短, 至少在12小时左右. 如果想要每天快速的爬一些数...转载 2018-06-03 01:12:31 · 2830 阅读 · 1 评论 -
Cookies池
很多时候,在爬取没有登录的情况下,我们也可以访问一部分页面或请求一些接口,因为毕竟网站本身需要做SEO,不会对所有页面都设置登录限制。但是,不登录直接爬取会有一些弊端,弊端主要有以下两点。设置了登录限制的页面无法爬取。如某论坛设置了登录才可查看资源,某博客设置了登录才可查看全文等,这些页面都需要登录账号才可以查看和爬取。一些页面和接口虽然可以直接请求,但是请求一旦频繁,访问就容易被限制或者IP直接...转载 2018-06-03 01:14:43 · 7569 阅读 · 0 评论 -
那些你不知道的爬虫反爬虫套路
那些你不知道的爬虫反爬虫套路36氪的朋友们 • 2017-06-12 • 企业服务相爱相杀的爬虫与反爬虫编者按:本文来自微信公众号“携程技术中心”,作者 崔广宇,携程酒店研发部开发经理,与去哪儿艺龙的反爬虫同事是好基友。携程技术中心“非著名”段子手;36氪经授权发布。前言爬虫与反爬虫,是一个很不阳光的行业。这里说的不阳光,有两个含义。第一是,这个行业是隐藏在地下的,一般很少被曝光出来。很多公司对外...转载 2018-06-03 01:24:01 · 747 阅读 · 1 评论