(博客专栏)网络爬虫
文章平均质量分 67
高级全栈工程师
这个作者很懒,什么都没留下…
展开
-
从robots.txt开始网页爬虫之旅
做个网页爬虫或搜索引擎(以下统称蜘蛛程序)的各位一定不会陌生,在爬虫或搜索引擎访问网站的时候查看的第一个文件就是robots.txt了。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。 当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。 那我们应该怎样使用robots.txt呢?原创 2014-05-20 09:53:16 · 1780 阅读 · 0 评论 -
爬虫超时解决办法
做网络爬虫怕的就是超时,当恰恰出现最多的就是超时,那该怎么办呢! 1,HttpClient默认请求为3次,你可以修改成N次,建议根据实际情况修改 2,设置get方法请求超时为 5 秒 GetMethod getMethod=new GetMethod(url); getMethod.getParams().setParameter(HttpMethodParams.SO_TIMEOUT,5000); 3,设置 Http 连接超时为5秒 HttpClient httpClient=new Http原创 2014-06-11 18:46:17 · 8888 阅读 · 0 评论