爬虫
lin358
这个作者很懒,什么都没留下…
展开
-
网页返回值汇总及含义
突发奇想的想将网页返回值的含义都记录下来,所以有了这篇博客200:正常返回301:网页跳转,可从location中获取跳转后的链接302:同上401:提示需要输入账号密码403:服务器无法响应请求,发不发情况下均为连接数过多404:无效链接500:tocmat部署网站时发现无法编译错误时的返回码503:临时性的不可访问,比如维护时目前就想到这些,将不定期...原创 2012-11-21 10:59:54 · 184 阅读 · 0 评论 -
JAVA获取网页返回值
为了提高爬虫的抓取速度,就想到了减少无用功这方面,因此就想先获取网页返回值,已减少一些无用的网页(比如404,500什么的),故网上搜了下如何获取返回值,发现都比较繁琐,后来自己瞎摸索了一下,发现了一个自认为不错的方法,特此记录下来 URL urlPage = null; HttpURLConnection conn = null; try { urlPage =...2015-04-23 09:34:47 · 400 阅读 · 0 评论