http协议-防盗链

我们熟知的response对象：

response.setContentType("application/octet-stream;charset=utf-8");//服务器返回类型
response.setHeader("User-Agent", "Mozilla/5.0");//浏览器类型及版本、操作系统及版本、浏览器内核、等信息的标识

常见header:

headers = { 
    'Host':'www.super-ping.com', 
    'Connection':'keep-alive', 
    'Cache-Control':'max-age=0', 
    'Accept': 'text/html, */*; q=0.01', 
    'X-Requested-With': 'XMLHttpRequest', //XMLHttpRequest是ajax请求
    'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.89 Safari/537.36', 
    'DNT':'1', 
    'Referer': 'http://www.super-ping.com/?ping=www.google.com&locale=sc', 
    'Accept-Encoding': 'gzip, deflate, sdch', 
    'Accept-Language': 'zh-CN,zh;q=0.8,ja;q=0.6' 
}

某些网站反感爬虫的到访，于是对爬虫一律拒绝请求。
这时候我们需要伪装成浏览器，这可以通过修改http包中的header来实现。
上面的例子里面user-agent就是伪装过的。

'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.89 Safari/537.36'

还可以通过header判断是不是ajax请求

public boolean isAjaxRequest(HttpServletRequest request){  
    String header = request.getHeader("X-Requested-With");  
    boolean isAjax = "XMLHttpRequest".equals(header) ? true:false;  
    return isAjax;  
}  

对付”防盗链”:

某些站点有所谓的反盗链设置，其实说穿了很简单，
就是检查你发送请求的header里面，referer站点是不是他自己，
所以我们只需要像把headers的referer改成该网站即可。

header = { 'Referer':'http://www.cnbeta.com/articles' }

总之 header 你可以放入任何想要的header，来做一些伪装。
例如，有些网站喜欢读取header中的X-Forwarded-For来看看人家的真实IP，可以直接把X-Forwarde-For改了。