使用Selenium爬取天猫商品

最新推荐文章于 2024-08-12 17:39:28 发布
最新推荐文章于 2024-08-12 17:39:28 发布
阅读量3.7k 收藏 16
点赞数 4
分类专栏： python 爬虫 文章标签： Selenium python 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chengqiuming/article/details/86766552
版权

一 点睛

并不是所有页面都可以通过分析Ajax来完成抓取。比如，淘宝，它的整个页面数据确实也是通过Ajax获取的，但是这些Ajax接口参数比较复杂，可能会包含加密密钥等，所以如果想自己构造Ajax参数，还是比较困难的。对于这种页面，最方便快捷的抓取方法就是通过Selenium。

二 需求

利用Selenium抓取淘宝商品并用pyquery解析得到商品的图片、名称、价格、购买人数、店铺名称和店铺所在地信息，并将其保存到MongoDB。

三 准备工作

我们首先以Chrome为例来讲解Selenium的用法。在开始之前，请确保已经正确安装好Chrome浏览器并配置好了ChromeDriver；另外，还需要正确安装Python的Selenium库。

四 接口分析

首先，我们来看下淘宝的接口，看看它是否支持Ajax。

打开天猫页面，搜索商品，比如iPad，此时打开开发者工具，截获Ajax请求，我们可以发现获取商品列表的接口。并不支持，我们只有另想它法。Selenium是一个不错的选择。

五 页面分析

我们的目标是爬取商品信息。其中包含商品的基本信息，包括商品价格、店铺名称，我们要做的就是将这些信息都抓取下来。

抓取入口就是天猫的搜索页面，这个链接可以

最低0.47元/天 解锁文章
chengqiuming
关注
专栏目录
爬虫（6）-使用selenium爬取淘宝天猫商品信息（价格，销售量等）
qq_42754919的博客
09-25 3726
在学习本节时，发现在淘宝页面搜索需要登录账号密码，因此就选择天猫网页进行爬取，但是只能爬取第一页，之后的页面也要登录账号。（京东页面搜索下一页不要登录账号，有时间做一个爬取京东页面商品信息） 1.准备工作 天猫搜索页面的URL，以及关键字 https://list.tmall.com/search_product.htm?q= q后面就是我们需要搜索的商品名称，可以使用quote函数输入keyword,也可以使用send_keys传入到输入框，本文使用第二种方法. url='https://list.tma
使用selenium爬取天猫商品
孤寒者的博客
02-11 1393
1.直接上代码：（解析和思路都在代码里！） from selenium import webdriver from selenium.common.exceptions import TimeoutException from selenium.webdriver.common.by import By from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.support.wait i
selenium的使用-爬取天猫商品信息
Yang's Blog
07-09 688
from selenium import webdriver from selenium.webdriver import ChromeOptions from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.common.by import By import time im
利用Python爬虫爬取指定天猫店铺全店商品信息
最新发布
R5463995的博客
08-12 1107
本编博客是关于爬取天猫店铺中指定店铺的所有商品基础信息的爬虫，爬虫运行只需要输入相应店铺的域名名称即可，信息将以csv表格的形式保存，可以单店爬取也可以增加一个循环进行同时爬取。
selenium+python爬取天猫商品.zip
06-03
所上传的资源是selenium+python爬取天猫商品，内含源代码+mysql数据库脚本+详细部署视频，另外还对过程中可能出现的问题进行了汇总，对于正在学习这方面的你是一个很好的选择，希望对你有所帮助。
Python爬虫之selenium爬虫，模拟浏览器爬取天猫信息
weixin_30797027的博客
10-26 215
由于工作需要，需要提取到天猫400个指定商品页面中指定的信息，于是有了这个爬虫。这是一个使用 selenium 爬取天猫商品信息的爬虫，虽然功能单一，但是也算是 selenium 爬虫的基本用法了。 源码展示 1 from selenium import webdriver 2 from selenium.webdriver.common.by import By 3 from ...
Java爬虫项目（一）利用Jsoup爬虫爬取天猫商品信息
热门推荐
耗子的博客
12-05 1万+
前言  这是我第一次用Java来写爬虫项目，研究的也不是很透彻，所以爬虫技术的理论方面的就不说太多了。 主要还是以如何爬取商品信息为主，爬取最简单的商品信息，给出大概的思路和方法。 对于没有反爬技术的网站，爬取商品信息最简单。我测试了京东、淘宝、天猫这些大型购物网站，发现只有天猫商城是没有做任何反爬处理的，所以就从最简单的爬取天猫商品信息开始写。 思路方法 1、对于没有反爬技术的网站思路最...
Python爬虫使用selenium爬取天猫商品信息
Python_sn的博客
09-26 2426
文章目录 很多人学习python，不知道从何学起。 很多人学习python，掌握了基本语法过后，不知道在哪里寻找案例上手。 很多已经做案例的人，却不知道如何去学习更加高深的知识。 那么针对这三类人，我给大家提供一个好的学习平台，免费领取视频教程，电子书籍，以及课程的源代码！ QQ群：961562169 1.只读取第一页 1.1准备工作 1.2.定位 1.3.获取商品信息 1.4. 整体代码 1.5.输出结果展示 1.6改进，存储在CSV文件内并分行存储
【Python3 爬虫学习笔记】动态渲染页面爬取 4 —— 使用Selenium爬取淘宝商品
冰度猎魂的博客
10-21 534
并不是所有页面都可以通过分析Ajax来完成抓取。比如，淘宝，它的整个页面数据确实也是通过Ajax获取的，但是这些Ajax接口参数比较复杂，可能会包含加密秘钥等，所以如果想自己构造Ajax参数，还是比较困难的。对于这种页面，最方便快捷的抓取方法就是通过Selenium。我们利用Selenium来模拟浏览器操作，抓取淘宝的商品信息，并将结果保存到MongoDB。 我们实现如下抓取列表页的方法： fro...
用python通过selenium自动化测试抓取天猫店铺数据
WS5_16的博客
01-09 1614
用python通过selenium自动化测试抓取天猫店铺数据 运行的环境在win10，软件用的是vscode。大家平常在抓取天猫店铺的时候登陆后会需要验证，我的方法是通过谷歌插件跳过天猫的登陆。 首先要下载chromedriver.exe放到python安装的位置，这里面不详细解释，自己可以去百度搜索。需要用到selenium这个模块。 from selenium import webdriver...
python抓取淘宝天猫网页商品详情Demo.zip
06-02
python抓取淘宝天猫网页商品详情Demo.zip
淘宝天猫商品详情爬取
03-16
爬取商品详情。
爬虫项目八：Python对天猫商品数据、评论数据爬取
weixin_47163937的博客
03-26 6777
文章目录前言一、商品数据1.分析url2.登录账号3.解析数据4.模拟滑动滑块 前言 天猫商城商品数据、评论数据爬取 提示：以下是本篇文章正文内容，下面案例可供参考 一、商品数据 爬取天猫商城商品数据，观察页面没有动态加载，但是页面会是不是出现登录界面，所以选择selenium登录的方式爬取商品数据，整个爬虫的过程中需要mitmdump拦截伪装，详情可看我主页文章淘宝 https://blog.csdn.net/weixin_47163937/article/details/114998786 1.分.
Python爬虫爬取淘宝、天猫某商品页面相关信息实例
Fo*(Bi)的博客
06-30 7708
URL=“https://detail.tmall.com/item.htm?spm=a230r.1.14.8.4a1a115fb1rHn5&id=617806269122&cm_id=140105335569ed55e27b&abbucket=3&sku_properties=154362399:30930041” 【target】: 爬取：商品id、商品标题、商品主图地址、商品价格、店铺名称、掌柜名称、店铺地址。 代码如下： import re from lxml im.
如何使用爬虫采集天猫店铺商品信息
qq_35994328的博客
12-06 4200
大数据时代必备技能 - 神箭手云爬虫 -一站式云端通用爬虫开发平台 神箭手云爬虫多样化采集网页内容，快速产生大量而优质的内容。 1.打开神箭手云爬虫官网 2.创建爬虫任务 (1) 在首页点击“爬虫市场”，在神箭手云市场中搜索天猫； (2)找到天猫商品采集爬虫【店铺版】，点击“免费获取”； 3.管理爬虫 成功获取天猫商品采集爬虫【店
Python爬虫学习教程：天猫商品数据爬虫
Python新手学习之家
12-26 2503
天猫商品数据爬虫使用教程 下载chrome浏览器 查看chrome浏览器的版本号，下载对应版本号的chromedriver驱动 pip安装下列包 pip install selenium pip install pyquery 登录微博，并通过微博绑定淘宝账号密码 在main中填写chromedriver的绝对路径 在main中填写微博账号密码 #改成你的chromedriver...
用Python爬取淘宝搜索的数据，用微博账号模拟淘宝登录，后用Selenium爬取数据（主要依托chromedriver驱动）
qq_40261822的博客
04-13 669
使用教程 下载chrome浏览器 查看chrome浏览器的版本号，对应版本号的chromedriver驱动 pip安装下列包 pip install selenium 登录微博，并通过微博绑定淘宝账号密码 在chromedriver_path中填写chromedriver的绝对路径 事先填写好自己的微博账号密码 chromedriver驱动下载方式参考：https://blog.c...
使用selenium爬取淘宝商品
08-10
使用Selenium进行淘宝商品爬取，通常涉及以下几个步骤： 1. **安装依赖**： 首先需要安装Selenium库，这是一个浏览器自动化工具，可以模拟用户操作。另外，由于Selenium需要与特定的浏览器驱动（如ChromeDriver、FirefoxDriver等）配合使用，你也需要下载对应版本的浏览器驱动。 2. **启动浏览器**： 导入`webdriver`模块，比如`from selenium import webdriver`，然后通过`webdriver.Chrome()`或`webdriver.Firefox()`创建一个新的浏览器实例。 3. **打开淘宝网站**： 调用`browser.get('https://www.taobao.com')`打开淘宝主页。 4. **定位元素**： Selenium通过XPath、CSS选择器或ID等属性定位网页中的元素。例如，你可以找到搜索框并输入关键词：`search_box = browser.find_element_by_id('q')`。 5. **提交搜索**： 利用`search_box.send_keys(keyword)`发送搜索请求。 6. **查找商品列表**： 通过定位元素，找到商品列表区域，并遍历查找商品信息。 7. **解析数据**： 一旦找到商品信息，利用如BeautifulSoup这样的HTML解析库，提取标题、价格、图片链接等数据。 8. **保存数据**： 将抓取到的数据存储到CSV、JSON文件，或者数据库中。 ```python # 示例代码片段 from selenium import webdriver from bs4 import BeautifulSoup def crawl_taobao(keyword): # ...其他步骤... browser.find_element_by_id('su').click() # 提交搜索 page_source = browser.page_source soup = BeautifulSoup(page_source, 'html.parser') products = soup.select('.product-title') # 假设商品标题类名为.product-title for product in products: title = product.text.strip() price = product.find('span', class_='price').text # 类名假设为.price img_url = product.find('img')['src'] # 存储数据 save_data(title, price, img_url) # 实际使用时记得处理异常和浏览器关闭 if __name__ == '__main__': keyword = input("请输入你要搜索的商品关键字:") try: crawl_taobao(keyword) finally: browser.quit() ```
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值