博客专栏  >  编程语言   >  Java网络爬虫

Java网络爬虫

Java网络蜘蛛、网络数据结构、图片识别、socket等

关注
2 已关注
2篇博文
  • 爬虫超时解决办法

    做网络爬虫怕的就是超时,当恰恰出现最多的就是超时,那该怎么办呢! 1,HttpClient默认请求为3次,你可以修改成N次,建议根据实际情况修改 2,设置get方法请求超时为 5 秒 GetMetho...

    2014-06-11 18:46
    2383
  • 从robots.txt开始网页爬虫之旅

    做个网页爬虫或搜索引擎(以下统称蜘蛛程序)的各位一定不会陌生,在爬虫或搜索引擎访问网站的时候查看的第一个文件就是robots.txt了。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查...

    2014-05-20 09:53
    1133

img博客搬家
img撰写博客
img发布 Chat
img专家申请
img意见反馈
img返回顶部