Jsoup解析网址与浏览器查看内容不一致

开发过程中,用Jsoup解析糯米团购网站页面的时候,发现取得的页面和浏览器查看到的页面不一样,而是手机页面。

程序代码如下:

1
content = Jsoup.connect( "http://www.nuomi.com" ).timeout( 6000 ).get();//取得整个页面内容;

经过跟踪代码执行,发现content取得的内容和用浏览器直接访问的内容不一样。

经过查询资料,发现是User-Agent 的问题,在Jsoup中默认没有指定User-Agent,网站的服务器则认为这个访问来自手机,返回的是手机的页面。

将User-Agent加入到Jsoup中,问题解决。

代码如下:

1
2
3
content = Jsoup.connect(url)
           .userAgent( "Mozilla/4.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)"
           .timeout( 6000 ).get(); //取得整个页面内容;

以上代码是模拟的IE9的User-Agent信息,下面是各个版本浏览器的User-Agent信息。

IE6:Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)

IE7:Mozilla/4.0 (compatible; MSIE 7.0b; Windows NT 6.0)

IE8:Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)

IE9:Mozilla/4.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)

Maxthon:Mozilla/5.0 (Windows NT 5.1) AppleWebKit/535.12 (KHTML, like Gecko) Maxthon/3.0 Chrome/22.0.1229.79 Safari/535.12

Firefox:Mozilla/5.0 (Windows NT 5.1; zh-CN; rv:1.9.1.3) Gecko/20100101 Firefox/8.0

Chrome:Mozilla/5.0 (Windows NT 5.1; zh-CN) AppleWebKit/535.12 (KHTML, like Gecko) Chrome/22.0.1229.79 Safari/535.12

Opera:Opera/9.99 (Windows NT 5.1; U; zh-CN) Presto/9.9.9

Safari:Mozilla/5.0 (Windows NT 5.1; zh-CN) AppleWebKit/535.12 (KHTML, like Gecko) Version/5.0.1 Safari/535.12

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值