爬虫
星辰轨
这个作者很懒,什么都没留下…
展开
-
爬虫基础
爬虫简介 爬虫系统一般由三个模块构成:获取数据,解析数据,存储数据。 根据爬取范围分为垂直爬虫和通用爬虫,垂直爬虫专门针对某一类网站进行爬取,通用爬虫爬取互联网网上的所有数据。 爬虫原理 获取数据 获取数据需要发起网络请求,网络请求使用HTTP协议。 通过JDK的API获取数据 public void JdkHttpGetData throws Exception...原创 2018-08-04 22:31:26 · 142 阅读 · 0 评论 -
爬虫优化(连接超时改进,如何防封)
连接超时改进 private static String execute(HttpRequestBase request) { //设置创建连接最长的时间 RequestConfig requestConfig = RequestConfig.custom().setConnectTimeout(1000*10) .setConnectionRequestTimeou...原创 2018-08-04 22:33:11 · 2058 阅读 · 0 评论