HttpClient实现爬虫相关简述

爬虫基本概念
1、ip代理

2、httpclient线程池

3、广度优先【深度优先】

4、多线程爬取/单线程爬取

参考框架webmagic

 

自定义针对特色网站爬虫：

1、httpclient参数设置

2、请求头head设置

3、request请求参数设置

4、用户名密码登陆设置以及session

 

HttpClient参数设置

httpclient连接池Timeout waiting for connection  合理设置一下三个参数

defaultMaxPerRoute(每个路由(route)最大连接数 )

maxTotal(最大连接数)

connectionRequestTimeout(从连接池中获取到连接的最长时间 )

注意三个超时时间connectTimeout 创建链接超时时间  connectionRequestTimeout 从连接池中获取到连接的最长时间

特别注意socketTimeout：数据传输的最长时间，指的是没有数据传输时毫秒数报错，如果是一个下载的大文件存在安全隐患一直无法执行完成，并且线程池会占用很大的带宽。可尝试在response返回头中进行筛选，不要这种东西。

以及设置ip代理的三种方式---

 

我的策略

广度优先解析：仿照wget，取url判断层级，一层通过httpclient直接下载生成index.html，二层通过httpclient得到内容生成文件，再解析内容，下载需要的html、css、js、img等。三层解析二层的html，下载需要的html、css、js、img等，依次类推。

 

20170323更新，除了ip代理之外其他都已经实现，层级爬取。

解析使用htmlpaser，适合用来做层级爬取以及一些简单的信息

后期打算追加jsoup方式，jsoup适合解析指定table下面的一行行信息，按照一定的规则得到数据，然后按照一定规则进行分类。

 

爬取网络信息主要在于解析爬取规则。jsoup和htmlparser适用于不同情况的爬取。

较为通用的信息爬取平台 可以将jsonp的规则包装以后设置在页面上形成自动化的解析。

但是：针对不同网站的爬取策略和破解反爬虫策略才是无法通用的难点

按页爬取时，如果在参数信息中包含页面大小可以调整来尝试减少爬取次数。

基本的反爬取策略：传入请求参数、传入请求头可以爬取成功。

有些需要在请求头中传入Cookie才能爬取，Cookie有时候可以获取到有时候很难找到获取cookie的有效途径。

有些情况下cookie如何和请求参数匹配才能爬取成功。

还有的网页会在爬取页面时传递token，然后再通过token get到信息，token一次有效，这个需要注意下。

 

未解决问题：有些ssl3在windows上可以正常爬取，linux机器上就会报错。【存在安全隐患，被linux系统封了】

比较好的一篇文章：http://www.cnblogs.com/Lands-ljk/p/5673017.html
 

网络工具

爬取时会造成网络异常，半连接工具、洪水攻击等情况，需要一些工具辅助

iptraf 和nload监控网络还有iftop

iftop：目标 源地址 进出速度

nload：in/com 网卡进出速度。

iptraf 种类多种多样。

nload安装地址：http://www.cnblogs.com/kgdxpr/p/3311507.html

iftop安装地址:http://blog.sina.com.cn/s/blog_61c07ac50101gm21.html

 

问题

爬取的url中存在空格http://www.leiphone.com/tag/Windows 9

解决方式encode = URLEncoder.encode(" ","utf-8"); url.replace(" ", encode)