java 反爬虫

反爬虫

今天使用httpclient+jsoup爬取某网站的数据时,一直获取不到网页中动态生成的那部分数据.尝试后发现只需在请求头中加入该网站的Reffer即可!
思路:服务端判断请求,要么是请求参数,要么是header.所以我们要做的就是拿到浏览器的全部请求头和参数,模拟一下.

httpGet.addHeader("Referer", "https://xxx");