爬虫爬取京东时被拦截到登录界面怎么办？

最新推荐文章于 2023-08-11 23:55:24 发布
最新推荐文章于 2023-08-11 23:55:24 发布
阅读量3.3k 收藏 8
点赞数 2
分类专栏： 爬虫 文章标签： 爬虫 python 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46157208/article/details/118098976
版权

爬虫京东数据的时候，链接老是自动跳转到京东的登录页面？？


京东的识别，会把这种行为视为爬虫，所以我们要模拟浏览器的浏览行为

在创建HttpGet请求的时候，设置请求头部信息“User-Agent”的信息。

httpGet.setHeader("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.100 Safari/537.36");

eg：
在这里插入图片描述

分割线：如何获取头部信息

首先进入京东首页。
F12进入“检查”，
然后按照图片，点击“Network”后点击左上角的
在这里插入图片描述
符号

在这里插入图片描述
最后按Ctrl+R，拉到最上面选择第一个文件

在这里插入图片描述

在这里插入图片描述

北海南风
关注
  • 2
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 6
    评论
专栏目录
java爬虫爬取数据
05-04
利用HTML工具，多线程，消息队列，模拟浏览器实现爬取网页数据
爬虫绕过“登录页面”
热门推荐
小江专栏
04-29 2万+
当我们在写爬虫的时候，往往会遇到很多反爬的问题。         比如：在登录页面设置验证码、扫描二维码登录、滑动鼠标登录、手机短信验证码登录等等。这里介绍一种个人已经实现的方法——绕过登录页面。这里的绕过不是说真的可以绕过登录，除非这个系统本来就有问题，这是这个系统天大的bug。这里说的绕过登录是指登录一次记住cookie信息，下次登录的时候就直接跳过了登录的页面。废话不多说，直接上代码：
java基于HttpClient和Jsoup的抓取京东商品信息解决未登录跳转问题：https://passport.jd.com/uc/login
weixin_42736075的博客
06-19 3250
空闲间写了个java的使用httpClient和Jsoup去获取京东商品信息的接口，然后存储到数据库中。 中间发现一个问题，我们使用httpclient api通过京东url去获取信息： //获取HttpClient对象 CloseableHttpClient httpClient = HttpClients.custom().setConnectionManager(cm).build(); //声明httpGet请求对象 HttpGet httpGet = new HttpGet(url);
python登录京东滑动验证_Python 实现自动登录+点击+滑动验证功能
weixin_39755003的博客
02-21 928
需要用到的库有selenium，还需要安装Chrome浏览器驱动，具体如何安装我就不详述了在这里我模拟了csdn的登录过程**1**.首先打开网页，用户名+密码登录，然后定位用户名输入框，和密码输入框，输入后 点击登陆 弹出验证滑动条def __init__(self):self.url = 'https://passport.csdn.net/login'self.browser = webdr...
python模拟登录网站_Python爬虫实战之（四）| 模拟登录京东商城
weixin_39665060的博客
11-25 463
作者：xiaoyu微信公众号：Python数据科学知乎：Python数据分析师前两篇和大家分享了爬虫中http的一些概念和使用方法，基础篇我们主要介绍了http的请求头，高级篇我们主要介绍了cookie和session（具体可以点击上面链接进行回顾）。但其实在爬虫中还有很多关于http的内容需要了解，例如 token，oauth等。对于这些概念博主将在后续文章中逐一的详细介绍，本篇主要针对前两篇内...
Python爬虫—爬取京东商品信息（自动登录，换关键词，换页）
qq_45657504的博客
05-29 6906
目录前言一、需要的Python库安装1.设置默认pip默认安装路径2.下载浏览器驱动（以chrome为例）二、使用步骤（代码以函数为单位分开展示）1.引入库2.设置关键词和浏览器设置3.定义获取密码函数4.定义获取图片信息，返回最佳匹配位置函数5.定义滑动函数6.定义实现登录函数7.定义文件保存函数8.定义爬取函数9.定义首次运行函数10.定义继续运行函数11.定义主函数三、代码整体展示总结 前言 最近需要些简单的商品数据信息，听说淘宝反爬虫反的厉害，自己Python学习花的时间少，人菜的抠脚，就打起了
Python爬虫绕过登录的小技巧
KHOST的博客
05-10 7290
前言 很多时候我们做 Python 爬虫时或者自动化测试时需要用到 selenium 库，我们经常会卡在登录的时候，登录验证码是最头疼的事情，特别是如今的文字验证码和图形验证码。文字和图形验证码还加了干扰线，本文就来讲讲怎么绕过登录页面。 登录页面的验证，比如以下的图形验证码。 还有我们基本都看过的 12306 的图形验证码。 绕过登录方法 绕过登录基本有两种方...
爬取京东商品信息出现登陆页面的解决
牵一只蜗牛去散步
05-08 4297
错误信息 原因：京东一般都有反爬 代码 import requests url = "https://item.jd.com/2967929.html" try: kv = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36", "cookie": "8i
爬取网站要登录？46行代码解决问题，python爬虫随心所欲
lamehd的博客
10-06 1204
当你在爬某些网站的时候，需要你登录才可以获取数据，咋整？莫慌，把这几招传授给你，让你以后随心所欲的爬！ 一：Cookie大法 你平常网站浏览的时候，是不是发现你只要登录一次，就可以一直看到你想要的内容，过了一阵子才需要再次登录？其实每个使用这个网站的人，服务器都会给他一个 Cookie，下次你再请求数据的时候，顺带把这个 Cookie 传过去，服务器一看，有登录过，直接返回数据给他吧！ ...
python语言如何正确使用亿牛云爬虫代理
Laicaling的博客
02-19 338
requests(tunnel)访问HTTPS网站 #! -- encoding:utf-8 -- import requests import random import requests.adapters # 要访问的目标页面 targetUrlList = [ "https://httpbin.org/ip", "https://httpbin.org/headers", ...
爬虫实战之selenium爬取京东电商数据
Amor_jie的博客
06-17 1045
基本原理： 主要利用selenium进行提取页面信息并不断点击下一页 代码如下： #!/usr/bin/env python # -*- coding:utf-8 -*- # @Time : 2020/06/16 23:37:06 # @File : 爬取京东电商数据.py # @Sortware: Vsc from selenium import webdriver from selenium.webdriver.common.keys import Keys import tim.
JS弹出新窗口被拦截的解决方法
10-21
使用js使用新窗口打开页面的时候，经常遇到被浏览器拦截的情况，怎么解决呢？下面小编通过两种情况分析并分别附有解决办法，对js弹出新窗口被拦截感兴趣的朋友一起学习吧
js实现window.open不被拦截的解决方法汇总
10-25
主要介绍了js实现window.open不被拦截的解决方法,实例汇总了常用的不被拦截的解决方法,需要的朋友可以参考下
window.open打开窗口被拦截的快速解决方法
09-01
下面小编就为大家带来一篇window.open打开窗口被拦截的快速解决方法。觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧
window.open不被拦截的实现代码
09-05
打开空白新窗口，再给新窗口的localtion赋值，需要的朋友可以参考下
python京东自动签到_爬虫实战【10】利用Selenium自动登陆京东签到领金币
weixin_39831170的博客
11-28 202
今天我们来讲一下如何通过python来实现自动登陆京东，以及签到领取金币。如何自动登陆京东？我们先来看一下京东的登陆页面，如下图所示：【插入图片，登陆页面】登陆框就是右面这一个框框了，但是目前我们遇到一个困呐，默认的登陆方式是扫码登陆，如果我们想要以用户民个、密码的形式登陆，就要切换一下。我们看一下这两种登陆方式是如何切换的，通过浏览器的元素检查，我们看一下两个标签。【插入图片，两种登陆方式】扫码...
CSS+html+js仿京东实现一小部分页面
最新发布
m0_62485757的博客
08-11 178
【代码】CSS+html+js仿京东实现一小部分页面。
python爬虫实战,多线程爬取京东jd html页面：无需登录的网站的爬虫实战
weixin_33811539的博客
12-02 1316
【前言】#本脚本用来爬取jd的页面：http://list.jd.com/list.html?cat=737,794,870到 #......http://list.jd.com/list.html?cat=737,794,870&page=11&JL=6_0_0的所有html的内容和图片。 #本脚本仅用于技术交流，请勿用于其他用途 #byRiver...
利用Python爬取京东商品的一种办法
qq_44638724的博客
11-22 4413
前言 如今的京东、淘宝、天猫等等已经不同往日了, 在用户不登录的情况下, 很难通过技术手段来大规模获取到我们关注的商品信息. 关于京东等购物网站的自动登录也有很多人在做, 但是大厂的反爬能力确实很强, 目前能查阅到的自动登录技术基本都过时了. 本文干脆跳过这一过程, 换一个思路. 在不登录的情况下获取商品的编号 我们登录京东的网址jd.com后可以在不登录的情况下直接搜索商品, 比如搜索手机 可以看到, 其实这一页面就已经列出商品的名称, 售价, 评价量等等. 遗憾的是这个页面的内容不能直接爬取, 但是
python爬虫爬取网页数据代码
05-10
下面是一个简单的Python爬虫爬取网页数据的代码示例： ```python import requests # 发送 GET 请求 response = requests.get('http://www.example.com') # 打印响应内容 print(response.text) # 保存响应内容到文件 with open('example.html', 'w', encoding='utf-8') as f: f.write(response.text) ``` 需要注意的是，爬虫需要遵守网站的爬虫协议，不得进行恶意爬取。此外，还需要注意防止爬虫被反爬措施拦截，例如使用代理、随机 User-Agent 等技术手段。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

北海南风

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值