关于爬取京东商品界面出现的passport

最新推荐文章于 2023-01-01 12:44:57 发布
最新推荐文章于 2023-01-01 12:44:57 发布
阅读量4.9k 收藏 17
点赞数 20
分类专栏： python入门
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chen_baiyu/article/details/105931797
版权

MOOC关于爬取京东商品界面的实例：

import requests
url = "https://item.jd.com/100002795959.html"
try:
    r = requests.get(url)
    r.raise_for_status()
    r.encoding = r.apparent_encoding
    print(r.text[:1000])
except:
    print("爬取失败")

运行后出现

<script>window.location.href='https://passport.jd.com/uc/login?ReturnUrl=http://item.jd.com/100007413580.html'</script>

加入修改header的语句

import requests
url = "https://item.jd.com/100002795959.html"
try:
    kv = {'user-agent':'Mozilla/5.0'}
    r = requests.get(url,headers = kv)
    r.raise_for_status()
    r.encoding = r.apparent_encoding
    print(r.text[:1000])
except:
    print("爬取失败")

爬取成功

<!DOCTYPE HTML>
<html lang="zh-CN">
<head>
    <!-- shouji -->
    <meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
    <title>【华为P30 Pro】华为 HUAWEI P30 Pro 超感光徕卡四摄10倍混合变焦麒麟980芯片屏内指纹 8GB+128GB极光色全网通版双4G手机【行情 报价 价格 评测】-京东</title>
    <meta name="keywords" content="HUAWEIP30 Pro,华为P30 Pro,华为P30 Pro报价,HUAWEIP30 Pro报价"/>
    <meta name="description" content="【华为P30 Pro】京东JD.COM提供华为P30 Pro正品行货，并包括HUAWEIP30 Pro网购指南，以及华为P30 Pro图片、P30 Pro参数、P30 Pro评论、P30 Pro心得、P30 Pro技巧等信息，网购华为P30 Pro上京东,放心又轻松" />
    <meta name="format-detection" content="telephone=no">
    <meta http-equiv="mobile-agent" content="format=xhtml; url=//item.m.jd.com/product/100002795959.html">
    <meta http-equiv="mobile-agent" content="format=html5; url=//item.m.jd.com/product/100002795959.html">
    <meta http-equiv="X-UA-Compatible" content="IE=Edge">
    <link rel="canonical" href="//item.jd.com/100002795959.html"/>
        <link rel="dns-prefetch" href="//misc.360buyimg.com"/>
    <link rel="dns-prefet
boboo_2020
关注
  • 20
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
专栏目录
requests库网络爬取实战
Cachel Wood的博客
08-27 576
文章目录实例1：京东商品页面的爬取实例2：亚马逊商品页面的爬取实例3：百度/360搜索关键字提交实例4：网络图片的爬取和存储实例5：IP地址归属地的自动查询 实例1：京东商品页面的爬取 import requests url = "https://item.jd.com/2967929.html" try: r = requests.get(url) print(r.status_code) r.encoding = r.apparent_encoding print(r.t
python如何爬取网站审查元素_python使用request库登录界面爬取html内容和js内容
weixin_39939276的博客
12-05 1979
目录1.使用request的post进行登录2.审查元素查找网页的用户名和密码的键名3.get方法获取网页静态内容4.查找动态js对应XHR响json文件(str数据格式)的网址接口5.使用json.loads解码str数据格式为python的数据类型1.使用request的post进行登录python爬虫使用request库登录网页时，使用post方法(密码存储在header中更安全)，获取网页...
python爬京东 反爬_京东的验证码和反爬都很烦人吧？那又怎样，照样轻松爬取京东数据...
weixin_36108913的博客
02-04 1059
目标爬取京东商城上iphone x用户评论数据；使用jieba对评论数据进行分词处理；使用wordcloud绘制词云图。进群：548377875即可获取数十套pdf哦！然后我们会发现这个接口地址是可以直接访问的，并不需要post参数，直接get就行，后面发现，连header都不需要设置，这样问题就很简单了。接口地址返回的数据不是标准的json格式，我们需要手动处理下。1.去掉前面的‘fetchjs...
爬取京东商品信息出现登陆页面的解决
牵一只蜗牛去散步
05-08 4524
错误信息 原因：京东一般都有反爬 代码 import requests url = "https://item.jd.com/2967929.html" try: kv = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36", "cookie": "8i
[爬虫] 京东滑动验证码破解（selenium+python)
野蛮水蜜桃。
06-17 1641
写在前面。 非原创，参考的是 https://blog.csdn.net/weixin_45943597/article/details/109210659?utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromMachineLearnPai2%7Edefault-3.withoutpai&depth_1-utm_source=distribute.pc_relevant.none-tas.
scrapy爬取京东商城某一类商品的信息和评论（一）
热门推荐
小拳头的博客
07-06 2万+
一、前提 默认已用scrapy爬取过网站，有爬虫基础，有爬虫环境 二、以爬取电子烟为例 1、任务一：爬取商品信息 在搜索框里面直接搜索电子烟，搜出来的界面，你会发现它是动态加载的。即一开始源代码里面只能看到30条商品的信息，随着你的下拉，另外30条才会加载出来。因此爬取起来比较麻烦。后来发现，从京东左边的商品分类中找到电子烟这一分类
requests 获取网络资源的通用框架
laiyanping_的博客
06-09 212
网络连接有风险，异常处理很重要 import requests def get_html_text(url): try: r = requests.get(url,timeout=30) r.raise_for_status() # 如果状态不是200，引发HTTPError异常 r.encoding = r.apparent_e...
京东商品的爬取
京东商品信息爬取——我的第一个CSDN
12-25 7500
这里写自定义目录标题888新1715613413下面来说下整体代码思路吧和每个自定义的功能和自己做的小处理 888 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 新17 我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们...
Python爬虫—爬取京东商品信息（自动登录，换关键词，换页）
qq_45657504的博客
05-29 7640
目录前言一、需要的Python库安装1.设置默认pip默认安装路径2.下载浏览器驱动（以chrome为例）二、使用步骤（代码以函数为单位分开展示）1.引入库2.设置关键词和浏览器设置3.定义获取密码函数4.定义获取图片信息，返回最佳匹配位置函数5.定义滑动函数6.定义实现登录函数7.定义文件保存函数8.定义爬取函数9.定义首次运行函数10.定义继续运行函数11.定义主函数三、代码整体展示总结 前言 最近需要些简单的商品数据信息，听说淘宝反爬虫反的厉害，自己Python学习花的时间少，人菜的抠脚，就打起了
爬取京东商品评论并存入数据库（二）
qq_43304005的博客
01-12 1449
前言 上篇我详细说明了爬取得过程，这里就不过多解释，直接上爬取得代码，简单明了： 代码 import requests import json import pymysql comment_url = 'https://sclub.jd.com/comment/productPageComments.action' def jd(page): params = { '...
java-爬虫部分：关于京东模拟登陆的两种实现
chaoren0626的专栏
02-27 9555
最近要做一个爬虫，需要网站数据，先拿京东开刀。 因为我是java开发的，所以最开始的时候，想到了httpClient和htmlunit两个东东，于是开始做实验。 网上很久以前流传着一个登陆人人网的例子，我就拿过来照搬了一下，发现不灵，后来才发现是自己没理解人家的精髓。然后用htmlunit去模拟，发现京东的js比较复杂，一位多年爬虫经验的哥们告诉我说htmlunit对js支持的
Java关于京东商品页面的爬取遇到的问题以及解决.--时间:2020年
weixin_42947972的博客
07-29 3068
问题一: 在进行爬取的测试中显示 <script>window.location.href='https://passport.jd.com/uc/login'</script> 最后解决的方法是在浏览器按F12进行查看在请求头添加这个内容 user-agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/5
地址：https://passport.jd.com/new/login.aspx 需求：模拟京东登陆请求参数
weixin_35752645的博客
01-01 500
京东登录请求参数包括: loginname: 登录名, 可以是用户名或者手机号码. nloginpwd: 登录密码. chkRememberMe: 是否记住登录状态, 值为"on"表示记住, 否则为"off". authcode: 验证码. 在登录时如果系统检测到异常登录行为, 会要求用户输入验证码. 这些参数需要放在请求的参数中(query string 或者 request body) 发...
java基于HttpClient和Jsoup的抓取京东商品信息解决未登录跳转问题：https://passport.jd.com/uc/login
weixin_42736075的博客
06-19 3339
空闲间写了个java的使用httpClient和Jsoup去获取京东商品信息的接口，然后存储到数据库中。 中间发现一个问题，我们使用httpclient api通过京东url去获取信息： //获取HttpClient对象 CloseableHttpClient httpClient = HttpClients.custom().setConnectionManager(cm).build(); //声明httpGet请求对象 HttpGet httpGet = new HttpGet(url);
01.base-v1.js
weixin_30859423的博客
08-12 554
/* Date: 2014-01-21 */ function login() { return location.href = "https://passport.jd.com/new/login.aspx?ReturnUrl=" + escape(location.href).replace(/\//g, "%2F"), !1 } function regis...
02.lib-v1.js
weixin_30478757的博客
08-12 9303
1 /* 2 Date: 2014-07-29 4:06:07 [PM] 3 */ 4 function StringBuilder() { 5 this.strings = new Array, this.length = 0 6 } 7 8 function jdThickBoxclose() { 9 ...
python爬取京东购物车
最新发布
05-18
你可以通过以下步骤使用 Python 爬取京东购物车： 1. 安装必要的库：requests、BeautifulSoup、selenium。 2. 使用 requests 库向京东登录页面发送请求，获取到登录页面的 HTML。 3. 使用 BeautifulSoup 库解析登录页面的 HTML，获取到登录所需的参数，如 cookie、token 等。 4. 使用 selenium 库打开浏览器，模拟用户登录京东网站。 5. 登录成功后，访问购物车页面，获取购物车页面的 HTML。 6. 使用 BeautifulSoup 库解析购物车页面的 HTML，获取购物车中商品的信息，如商品名称、价格、数量等。 7. 将商品信息存储到本地文件或数据库中。 8. 关闭浏览器，结束程序。 示例代码如下： ```python import requests from bs4 import BeautifulSoup from selenium import webdriver # 请求登录页面 login_url = 'https://passport.jd.com/new/login.aspx' response = requests.get(login_url) # 解析登录页面，获取登录所需参数 soup = BeautifulSoup(response.text, 'html.parser') cookie = soup.find('input', {'id': 'uuid'})['value'] token = soup.find('input', {'name': 'token'})['value'] # 模拟用户登录京东网站 username = 'your_username' password = 'your_password' driver = webdriver.Chrome() driver.get(login_url) driver.find_element_by_link_text('账户登录').click() driver.find_element_by_id('loginname').send_keys(username) driver.find_element_by_id('nloginpwd').send_keys(password) driver.find_element_by_id('loginsubmit').click() # 登录成功后访问购物车页面 cart_url = 'https://cart.jd.com/cart.action' driver.get(cart_url) cart_html = driver.page_source # 解析购物车页面，获取商品信息 cart_soup = BeautifulSoup(cart_html, 'html.parser') items = cart_soup.find_all('div', {'class': 'item-item'}) for item in items: name = item.find('div', {'class': 'p-name'}).text.strip() price = item.find('div', {'class': 'p-price'}).text.strip() quantity = item.find('div', {'class': 'p-num'}).text.strip() print(name, price, quantity) # 关闭浏览器 driver.quit() ``` 注意：请勿使用爬虫程序恶意抓取京东数据，以免触犯相关法律法规。
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值