HttpClient设置请求头消息User-Agent模拟浏览器

最新推荐文章于 2022-09-14 21:26:52 发布

caijibiandashen

最新推荐文章于 2022-09-14 21:26:52 发布

阅读量798

点赞数

文章标签： java

本文链接：https://blog.csdn.net/caijibaindashen/article/details/115678663

版权

在进行爬虫访问京东数据时遇到问题，被重定向到登录页面。通过HttpClient设置请求头中的User-Agent字段，模拟浏览器行为，成功避免了重定向问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

HttpClient设置请求头消息User-Agent模拟浏览器

今天爬虫访问京东数据，一会返回windows.location=“https://passport.jd.com/login”,就特别烦。网上搜索了放人的方法发现也不管用，就自己尝试了一下，需要修改请求头：

  httpGet.setHeader("user-agent", "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36");
        httpGet.setHeader("sec-fetch-user" ,"?1");
        httpGet.setHeader("upgrade-insecure-requests" ,"1");