使用Python 爬取京东、淘宝等商品详情页的数据，避开反爬虫机制

已于 2024-01-05 21:46:30 修改
阅读量3.4k 收藏 9
点赞数 1
分类专栏： python 文章标签： python 爬虫 开发语言
于 2023-09-26 10:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_74942241/article/details/133200949
版权

以下是爬取京东商品详情的Python3代码，以excel存放链接的方式批量爬取。excel如下

img

代码如下

from selenium import webdriver
from lxml import etree
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
import datetime
import calendar
import logging
from logging import handlers
import requests
import os
import time
import pymssql
import openpyxl
import xlrd
import codecs



class EgongYePing:

     options = webdriver.FirefoxOptions()
     fp = webdriver.FirefoxProfile()
     fp.set_preference("browser.download.folderList",2)  
     fp.set_preference("browser.download.manager.showWhenStarting",False)
     fp.set_preference("browser.helperApps.neverAsk.saveToDisk","application/zip,application/octet-stream")
     global driver 
     driver= webdriver.Firefox(firefox_profile=fp,options=options)
     def Init(self,url,code):
                       print(url.strip())
                       driver.get(url.strip())
                       #driver.refresh()
                       # 操作浏览器属于异步，在网络出现问题的时候。可能代码先执行。但是请求页面没有应答。所以硬等
                       time.sleep(int(3))
                       html = etree.HTML(driver.page_source) 
                       if driver.title!=None:
                         listImg=html.xpath('//*[contains(@class,"spec-list")]//ul//li//img')
                         if len(listImg)==0:
                              pass
                         if len(listImg)>0:
                                            imgSrc=''
                                            for item in range(len(listImg)):    
                                                 imgSrc='https://img14.360buyimg.com/n0/'+listImg[item].attrib["data-url"]
                                                 print('头图下载:'+imgSrc)
                                                 try:
                                                  Headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:50.0) Gecko/20100101 Firefox/50.0'}
                                                  r = requests.get(imgSrc, headers=Headers, stream=True)
                                                  if r.status_code == 200:
                                                     imgUrl=''
                                                     if item==0:
                                                          imgUrl+=code + "_主图_" + str(item)  + '.' + imgSrc.split('//')[1].split('/')[len(imgSrc.split('//')[1].split('/'))-1].split('.')[1]
                                                     else:
                                                          imgUrl+=code + "_附图_" + str(item)  + '.' + imgSrc.split('//')[1].split('/')[len(imgSrc.split('//')[1].split('/'))-1].split('.')[1]
                                                     open(os.getcwd()+'/img/'+  imgUrl , 'wb').write(r.content) # 将内容写入图片
                                                  del r
                                                 except Exception as e:
                                                    print("图片禁止访问:"+imgSrc) 
                         listImg=html.xpath('//*[contains(@class,"ssd-module")]') 
                         if len(listImg)==0:
                              listImg=html.xpath('//*[contains(@id,"J-detail-content")]//div//div//p//img')
                         if len(listImg)==0:
                              listImg=html.xpath('//*[contains(@id,"J-detail-content")]//img')
                         if len(listImg)>0:
                               for index in range(len(listImg)):  
                                    detailsHTML=listImg[index].attrib
                                    if 'data-id' in detailsHTML:
                                          try:
                                           details= driver.find_element_by_class_name("animate-"+listImg[index].attrib['data-id']).value_of_css_property('background-image')
                                           details=details.replace('url(' , ' ')
                                           details=details.replace(')' , ' ')
                                           newDetails=details.replace('"', ' ')
                                           details=newDetails.strip()
                                           print("详情图下载："+details)
                                           try:
                                                  Headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:50.0) Gecko/20100101 Firefox/50.0'}
                                                  r = requests.get(details, headers=Headers, stream=True)
                                                  if r.status_code == 200:
                                                     imgUrl=''
                                                     imgUrl+=code + "_详情图_" + str(index)  + '.' + details.split('//')[1].split('/')[len(details.split('//')[1].split('/'))-1].split('.')[1]
                                                     open(os.getcwd()+'/img/'+   imgUrl, 'wb').write(r.content) # 将内容写入图片
                                                  del r
                                           except Exception as e:
                                                    print("图片禁止访问:"+details) 
                                          except Exception as e:      
                                               print('其他格式的图片不收录');       
                                    if  'src' in detailsHTML:
                                         try:
                                           details= listImg[index].attrib['src']
                                           if 'http' in details:
                                                     pass
                                           else:
                                                     details='https:'+details
                                           print("详情图下载："+details)
                                           try:
                                                  Headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:50.0) Gecko/20100101 Firefox/50.0'}
                                                  r = requests.get(details, headers=Headers, stream=True)
                                                  if r.status_code == 200:
                                                     imgUrl=''
                                                     imgUrl+=code + "_详情图_" + str(index)  + '.' + details.split('//')[1].split('/')[len(details.split('//')[1].split('/'))-1].split('.')[1]
                                                     open(os.getcwd()+'/img/'+   imgUrl, 'wb').write(r.content) # 将内容写入图片
                                                  del r
                                           except Exception as e:
                                                    print("图片禁止访问:"+details) 
                                         except Exception as e:      
                                               print('其他格式的图片不收录'); 

                       print('结束执行')

         

     @staticmethod
     def readxlsx(inputText):
        filename=inputText
        inwb = openpyxl.load_workbook(filename)  # 读文件
        sheetnames = inwb.get_sheet_names()  # 获取读文件中所有的sheet，通过名字的方式
        ws = inwb.get_sheet_by_name(sheetnames[0])  # 获取第一个sheet内容
        # 获取sheet的最大行数和列数
        rows = ws.max_row
        cols = ws.max_column
        for r in range(1,rows+1):
            for c in range(1,cols):
                if ws.cell(r,c).value!=None and r!=1 :
                 if 'item.jd.com' in str(ws.cell(r,c+1).value) and str(ws.cell(r,c+1).value).find('i-item.jd.com')==-1:
                     print('支持:'+str(ws.cell(r,c).value)+'|'+str(ws.cell(r,c+1).value))
                     EgongYePing().Init(str(ws.cell(r,c+1).value),str(ws.cell(r,c).value))
                 else:
                     print('当前格式不支持:'+(str(ws.cell(r,c).value)+'|'+str(ws.cell(r,c+1).value)))
                     pass
        pass

if __name__ == "__main__":
                 start = EgongYePing()
                 start.readxlsx(r'C:\Users\newYear\Desktop\爬图.xlsx')

基本上除了过期的商品无法访问以外。对于京东的三种页面结构都做了处理。能访问到的商品页面。还做了模拟浏览器请求访问和下载。基本不会被反爬虫屏蔽下载。

干货主要有：

  • ① 200 多本 Python 电子书（和经典的书籍）应该有
  • ② Python标准库资料（最全中文版）
  • ③ 项目源码（四五十个有趣且可靠的练手项目及源码）
  • ④ Python基础入门、爬虫、网络开发、大数据分析方面的视频（适合小白学习）
  • ⑤ Python学习路线图（告别不入流的学习）

在这里插入图片描述
上述这份完整版的Python全套学习资料已经上传CSDN官方，如果需要可以微信扫描下方CSDN官方认证二维码 即可领取

👉[[CSDN大礼包：《python安装包&全套学习资料》免费分享]]（安全链接，放心点击）

img

上面这一段是以火狐模拟器运行

img

上面这一段是模拟浏览器下载。如果不加上这一段。经常会下载几十张图片后，很长一段时间无法正常下载图片。因为没有请求头被认为是爬虫。

img

上面这段是京东的商品详情页面，经常会三种？（可能以后会更多的页面结构）

所以做了三段解析。只要没有抓到图片就换一种解析方式。这杨就全了。

img

京东的图片基本只存/1.jpg。然后域名是 https://img14.360buyimg.com/n0/。所以目前要拼一下。

img

京东还有个很蛋疼的地方是图片以data-id拼进div的背景元素里。所以取出来的时候要绕一下。还好也解决了。

以下是爬取京东商品详情的Python3代码，以excel存放链接的方式批量爬取。excel如下

img

因为这次是淘宝和京东一起爬取。所以在一个excel里。代码里区分淘宝和京东的链接。以下是代码

from selenium import webdriver
from lxml import etree
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
import datetime
import calendar
import logging
from logging import handlers
import requests
import os
import time
import pymssql
import openpyxl
import xlrd
import codecs



class EgongYePing:

     options = webdriver.FirefoxOptions()
     fp = webdriver.FirefoxProfile()
     fp.set_preference("browser.download.folderList",2)  
     fp.set_preference("browser.download.manager.showWhenStarting",False)
     fp.set_preference("browser.helperApps.neverAsk.saveToDisk","application/zip,application/octet-stream")
     global driver 
     driver= webdriver.Firefox(firefox_profile=fp,options=options)
     def Init(self,url,code):
                       #driver = webdriver.Chrome('D:\python3\Scripts\chromedriver.exe')
                       #driver.get(url)
                       print(url.strip())
                       driver.get(url.strip())
                       #driver.refresh()
                       # 操作浏览器属于异步，在网络出现问题的时候。可能代码先执行。但是请求页面没有应答。所以硬等
                       time.sleep(int(3))
                       html = etree.HTML(driver.page_source) 
                       if driver.title!=None:
                         listImg=html.xpath('//*[contains(@id,"J_UlThumb")]//img')
                         if len(listImg)==0:
                              pass
                         if len(listImg)>0:
                                            imgSrc=''
                                            for item in range(len(listImg)):    
                                                 search=listImg[item].attrib
                                                 if 'data-src' in search:
                                                    imgSrc=listImg[item].attrib["data-src"].replace('.jpg_50x50','')
                                                 else:
                                                    imgSrc=listImg[item].attrib["src"]
                                                 if 'http' in imgSrc:
                                                     pass
                                                 else:
                                                     imgSrc='https:'+imgSrc
                                                 print('头图下载:'+imgSrc)
                                                 try:
                                                  Headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:50.0) Gecko/20100101 Firefox/50.0'}
                                                  r = requests.get(imgSrc, headers=Headers, stream=True)
                                                  if r.status_code == 200:
                                                     imgUrl=''
                                                     if item==0:
                                                          imgUrl+=code + "_主图_" + str(item)  + '.' + imgSrc.split('//')[1].split('/')[len(imgSrc.split('//')[1].split('/'))-1].split('.')[1]
                                                     else:
                                                          imgUrl+=code + "_附图_" + str(item)  + '.' + imgSrc.split('//')[1].split('/')[len(imgSrc.split('//')[1].split('/'))-1].split('.')[1]
                                                     open(os.getcwd()+'/img/'+  imgUrl , 'wb').write(r.content) # 将内容写入图片
                                                  del r
                                                 except Exception as e:
                                                    print("图片禁止访问:"+imgSrc) 
                         listImg=html.xpath('//*[contains(@id,"J_DivItemDesc")]//img')
                         if len(listImg)>0:
                               for index in range(len(listImg)):  
                                    detailsHTML=listImg[index].attrib
                                    if 'data-ks-lazyload' in detailsHTML:
                                        details= listImg[index].attrib["data-ks-lazyload"]
                                        print("详情图下载："+details)
                                    else:
                                        details= listImg[index].attrib["src"]
                                        print("详情图下载："+details)
                                    try:
                                                  Headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:50.0) Gecko/20100101 Firefox/50.0'}
                                                  r = requests.get(details, headers=Headers, stream=True)
                                                  if r.status_code == 200:
                                                     imgUrl=''
                                                     details=details.split('?')[0]
                                                     imgUrl+=code + "_详情图_" + str(index)  + '.' + details.split('//')[1].split('/')[len(details.split('//')[1].split('/'))-1].split('.')[1]
                                                     open(os.getcwd()+'/img/'+   imgUrl, 'wb').write(r.content) # 将内容写入图片
                                                  del r
                                    except Exception as e:
                                                    print("图片禁止访问:"+details)  
                       print('结束执行')

         

     @staticmethod
     def readxlsx(inputText):
        filename=inputText
        inwb = openpyxl.load_workbook(filename)  # 读文件
        sheetnames = inwb.get_sheet_names()  # 获取读文件中所有的sheet，通过名字的方式
        ws = inwb.get_sheet_by_name(sheetnames[0])  # 获取第一个sheet内容
        # 获取sheet的最大行数和列数
        rows = ws.max_row
        cols = ws.max_column
        for r in range(1,rows+1):
            for c in range(1,cols):
                if ws.cell(r,c).value!=None and r!=1 :
                 if 'item.taobao.com' in str(ws.cell(r,c+1).value):
                     print('支持:'+str(ws.cell(r,c).value)+'|'+str(ws.cell(r,c+1).value))
                     EgongYePing().Init(str(ws.cell(r,c+1).value),str(ws.cell(r,c).value))
                 else:
                     print('当前格式不支持:'+(str(ws.cell(r,c).value)+'|'+str(ws.cell(r,c+1).value)))
                     pass
        pass

if __name__ == "__main__":
                 start = EgongYePing()
                 start.readxlsx(r'C:\Users\newYear\Desktop\爬图.xlsx')

淘宝有两个问题，一个是需要绑定账号登录访问。这里是代码断点。然后手动走过授权。

img

第二个是被休息和懒惰加载。被休息。其实没影响的。一个页面结构已经加载出来了。然后也不会影响访问其他的页面。

img

至于懒惰加载嘛。对我们也没啥影响。如果不是直接写在src里那就在判断一次取 data-ks-lazyload就出来了。

img

最后就是爬取的片段截图

img

建议还是直接将爬取的数据存服务器，数据库，或者图片服务器。因为程序挺靠谱的。一万条数据。爬了26个G的文件。最后上传的时候差点累死了

img

是真的大。最后还要拆包。十几个2g压缩包一个一个上传。才成功。

img

程序员小猴紫
关注
专栏目录
Python爬取京东商品信息
qq_44331100的博客
10-30 8818
*使用Python爬取京东华为手机前十页的所有商品的链接、名称、价格、评价数以及店铺名称。 1.前期准备 （1）下载驱动 我使用的是谷歌浏览器，所以要下载谷歌驱动，用来告诉电脑在哪打开浏览器 驱动文件下载地址：http://chromedriver.storage.googleapis.com/index.html （需要下载与自己的浏览器版本相一致或者相近版本的驱动，要记住驱动下载之后存放的位置） ...
Python爬虫实战之爬取京东商品数据并实实现数据可视化
2301_80241064的博客
12-11 5809
'''模拟登录京东'''print('\[INFO\]: 检测到已有会话文件session.pkl, 将直接导入该文件...')else:f.close()接着去京东抓一波包，一样的套路，有种屡试不爽的感觉：看看请求这个接口需要提交的参数：area: 不用管，可以看作一个固定值enc: 指定编码, 可以看作固定值"utf-8"keyword: 搜索的关键词adType: 不用管，可以看作一个固定值page: 当前的页码ad\_ids: 不用管，可以看作一个固定值。
使用Python爬取京东商品信息的详细步骤与实战指南
2301_78150559的博客
09-13 951
通过以上步骤，你可以构建一个基本的京东商品信息爬虫。当然，实际项目中可能还需要考虑更多细节和异常处理。希望这篇文章能为你的爬虫开发之路提供一些帮助。如果你正在学习Python，那么你需要的话可以，点击这里👉Python重磅福利：入门&进阶全套学习资料、电子书、软件包、项目源码等等免费分享！或扫描下方CSDN官方微信二维码获娶Python入门&进阶全套学习资料、电子书、软件包、项目源码。
如何使用 Python 爬取京东商品数据
最新发布
Liu_Bruce的博客
09-27 955
通过 Python 爬虫，我们可以轻松从京东等电商平台获取商品数据。这对于商业分析、价格监控等具有很大的应用价值。然而，在实际操作中，要遵循法律法规及网站的robots.txt协议，合理爬取数据。希望这篇文章能帮助你更好地理解 Python 爬虫的基本使用方法！如果你有任何问题或建议，欢迎与我交流。
[爬虫]使用python抓取京东全站数据（商品，店铺，分类，评论）
weixin_52026996的博客
11-09 3058
网上抓取京东数据的文章，现在要么无法抓取数据，要么只能抓取部分数据，本文将介绍如何抓取京东全站数据，包括商品信息、店铺信息，评论信息，分类信息等。 一、环境 OS：win10 python：3.5 scrapy：1.3.2 pymongo：3.2 pycharm 环境搭建，自行百度 二、数据库说明 产品分类 京东大概有1183个分类，这是除去了一些虚拟产品（话费、彩票、车票等）的分类，可以到如下网页查看： https://www.jd.com/allSort.aspx 我们也是从这个网址开始抓取。由于这些
[Python爬虫] 抓取京东商品数据||京东商品API接口采集
电商数据Girl的博客
07-08 3335
最开始还是常规地使用selenium库进行商品页的商品抓取，后来因为想要获取优惠信息，只能进入到商品详情页进行抓取，想着用selenium库模拟浏览器行为进行页面抓取速度有点慢，就改用了requests库直接发送请求，然后问题就来了：明明在页面看到了优惠满减字段，抓取的结果却是空白的。百度了解到的原因是，京东网页中价格等信息并不是存放在静态网页中的，我们使用requests获取到网页源码，进行html解析，只会获取到空值。最后因为商品抓取量不大，所以还是乖乖的使用了selenium库进行爬虫。
教你用python爬取『京东』商品数据，原来这么简单！
TinagirlAPI的博客
01-02 7284
引入openpyxl库将数据保存到excel，表头内容包含（1.序号index、2.商品名称title、3.商品价格price、4.评论数CommentCount）
利用python爬取京东数据
08-14
总的来说，利用Python爬取京东数据涉及到网络请求、HTML解析、数据提取等多个环节，结合不同的库和策略，我们可以实现高效且稳定的爬虫程序。在实践中，不断学习和优化，可以提升爬虫的效率和实用性。
Python爬取京东手机商品参数
12-27
在本项目中，我们将探讨如何使用Python编程语言来爬取京东网站上手机商品的相关参数。爬虫技术是网络数据挖掘的重要工具，它可以帮助我们自动化地从网页中提取大量信息。Python因其简洁易读的语法和丰富的第三方库，...
python爬取淘宝商品价格
07-26
Python爬取淘宝商品价格的功能描述如下： 用户输入要查询的淘宝商品名称或关键字。 使用Python的requests库向淘宝网发送GET请求，带上用户输入的关键字作为参数，获取搜索结果页面的HTML内容。 使用BeautifulSoup库...
Python抓取京东数据
12-07
使用Python抓取京东数据，并用mySQL存取数据
利用python抓取京东手机销售数据
08-15
爬取京东手机销售与评价数据，以excel表格形式存储，以条形图形式展示不同品牌手机在淘宝的评价人数。可以通过更改关键字手机实现对其他商品的爬取。详细介绍https://blog.csdn.net/weixin_42911616/article/details/81506154
Python爬取京东商品信息（方式①）
12-22
爬虫的介绍      互联网中最有价值的便是数据，比如天猫商城的商品信息，链家网的租房信息，雪球网的证券投资信息等等，这些数据都代表了各个行业的真金白银，可以说，谁掌握了行业内的第一手数据，谁就成了整个行业的主宰，如果把整个互联网的数据比喻为一座宝藏，那我们的爬虫课程就是来教大家如何来高效地挖掘这些宝藏，掌握了爬虫技能，你就成了所有互联网信息公司幕后的老板，换言之，它们都在免费为你提供有价值的数据。 流程图 爬取代码 import requests from lxml import etree from urllib.parse import urlencode class jingdong
python爬取京东，淘宝商品数据
09-21
python爬取京东，淘宝商品数据，包括存储到数据库，页面显示
京东商城海量数据爬取python源码
09-26
1.爬虫的伪装 如果你自己有一个网站 老是来爬你？ 希望 用户 用一个浏览器 来访问我们。 希望 用户 注册一个账号 登录账号 来访问我们。 伪装的像一个浏览器一样。 伪装的像一个正常的用户一样。 网址和伪装的信息去哪里找？ 1.进入京东 登录账号 搜索一个商品。 2.打开开发者工具 选择网络 选择全部 3.刷新页面 点第一条数据 4.标头中就有网址。 5.伪装的信息就在网址的下面！！！！！！！！！！ 2.lxml模块转化网页 如何将网站请求得到的res.text转换成真正的网页。 有一个模块叫做lxml lxml模块里面还有一个子模块叫etree etree有一个功能HTML() 1.安装模块 pip install lxml 2.导入模块 import lxml.etree 3.lxml.etree.HTML() 3.xpath是网页数据的一种方法 （实操） 能帮助我们去乱七八糟的网页里面找到我们需要的数据。 1.把你需要的数据先列出来 2.把鼠标放在需要的数据上面 右键检查 复制它的xpath 3
【零基础学爬虫】爬虫实战：爬取京东零食
我的博客
04-18 938
简介 使用Selenium+chrome/PhantomJS爬取京东零食。 京东的页面比较复杂：含有各种请求参数、加密参数，如果直接请求或者分享Ajax的话会非常的繁琐，Selenium是一个自动化测试工具，可以驱动浏览器完成各种操作：模拟点击、输入、下滑等各种功能，如此一来，我们只需要关心操作，而不需要关心后台发生了什么样的请求。PhantomJS是无界面的浏览器，比Selenium方便，pha...
Python爬虫实战之一：requests-爬取京东商品详情页面
miracle2me的专栏
11-29 6081
本实战项目是中国大学MOOC国家精品课程《Python网络爬虫与信息提取》（by嵩天北京理工大学）学习笔记。 目录 1.爬取目标 2.爬取链接 3.技术路线 4.全部代码及输出 5.总结 1.爬取目标 爬取京东某商品详情页面文本数据，不做解析（emmm,就爬下面这个页面的文本数据就成） 2.爬取链接 https://item.jd.com/10024680038271.html 3.技术路线 主要使用工具包：requests 4.全部代码及输出 # 全代码 imp...
python抓取京东的商品信息
qq_30108661的博客
07-07 971
一、需要具备的技能以及开发环境: 1. 安装python开发环境 2. requests库 BeautifulSoup库 3. 具备python一定基础 二、分析JD搜索商品的URL参数 1. 经过分析可以知道keywork为搜索关键字 2. page参数为筛选商品的页下标，每页30条数据 3. ev参数为筛选商品的价格参数 三、接着 我们分析一下 URL返回来的数据 定位到我们需要的数据 1. 我们发现商品的数据是访问url直接返回来的 所以我们需要分析下商品所在的标签跟每.
Python爬取淘宝商品详情页数据技巧解析
"这篇教程详细介绍了如何使用Python爬取淘宝商品详情页的数据，涉及到动态加载内容的处理、Chrome插件ToggleJavaScript的使用以及网络请求头的设置，特别是Referer字段的添加。文中还展示了如何抓取商品价格和评论...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值