使用User-Agent防止HttpClient发送http请求时403 Forbidden和安全拦截

问题的抛出

今天有客户反映,我们服务器通知请求对方时,他们拦截了请求。并贴了一张截图。


从截图可以看出来,对方拦截了我们的user-agent(Apache-HttpClient)。

 

什么是User-Agent?
通常我们用浏览器访问一个网页,当我们向服务器发送请求时,浏览器会将一些头信息附加上,然后发给服务器,其中就包括User-Agent。
一些网站的网页,为了防止爬虫或恶意访问,会首先判断请求头的User-Agent,如果不是浏览器请求,则会直接拒绝请求。(https://blog.csdn.net/frankcheng5143/article/details/54096098里也提到,直接用HttpClient发起请求csdn时,会收到403 Forbidden)
不同版本的谷歌浏览器的User-Agent:
Mozilla/5.0 (Windows NT 6.2; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.87 Safari/537.36
Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; DigExt)

 

解决问题

通过分析httputil代码,发现我方并未设置请求头的user-agent属性。 原来,经模拟点对点请求的测试证明,如果不设置的话,它的值默认是Apache-HttpClient。


技术支持同事为了照顾客户的感受,建议我方改一下。那么,自然是加上user-agent来模拟正常的浏览器请求客户服务器就可以了。
当然,单从技术角度来看,另一个同事的给的建议也许更好:因为这是个服务器点对点通信,所以若要从安全方面控制,应该通过诸如ip白名单的方式,而不是通过User-Agent判断是不是浏览器请求。

 

httputil代码(user-agent不区分大小写):

    String userAgent = "Mozilla/5.0 (Windows NT 6.2; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.87 Safari/537.36";
    HttpGet httpGet = new HttpGet(url);
    httpGet.setHeader("User-Agent",userAgent);
    response = httpclient.execute(httpGet);

 

    CloseableHttpClient httpClient = getHttpClient();
    。。。。。
    HttpPost post = new HttpPost(url);
    post.setHeader("user-agent","Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; DigExt)");
    CloseableHttpResponse httpResponse = httpClient.execute(post);

 

    URL urls = new URL(url);
    HttpURLConnection uc = (HttpURLConnection) urls.openConnection();
    uc.setRequestProperty("User-Agent", "Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; DigExt)");
    。。。
    uc.setRequestMethod("POST");
    。。。

 

转载于:https://www.cnblogs.com/buguge/p/11213997.html

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值