爬虫爬取京东时被拦截到登录界面怎么办?
爬虫京东数据的时候,链接老是自动跳转到京东的登录页面??京东的识别,会把这种行为视为爬虫,所以我们要模拟浏览器的浏览行为在创建HttpGet请求的时候,设置请求头部信息“User-Agent”的信息。httpGet.setHeader("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.100 Safari/537.36").
原创
2021-06-22 09:32:47 ·
3574 阅读 ·
6 评论