最近在研究urlread函数,并尝试抓取赶集网上的租房信息,特记录如下,首先上代码:
上完代码,开始解释:
1、首先,为了加快访问速度,尝试开启了并行运算,但是并行运算过快的速度被赶集网识别了,所以只能注释掉;
2、然后,构建搜索网址,分析了赶集网租房信息的网址特征后,将它的网址按照搜索条件进行字符串组合,详见compose_all函数;
3、使用urlread函数抓取送进来网址的内容,装到str变量中,用status来判断是否装进来了;
4、使用正则表达式匹配里面的具体信息链接网址,用胞来保存;
5、使用while来判断是否所有的分页内容中的链接都已经提取完毕了;
6、如果提取完毕了就好办了,后面就是依次提取链接,读取内容,使用正则提取关键字,组合信息
PS:本来使用并行运算的时候,每秒提取速度大概在3条左右,但是被网站识别为机器人,所以只能人为的增加延迟时间,延长了程序的运行速度。尝试过使用代理服务器,奈何代理更慢,还不如开延迟。
2014/5/13号特此记录