用Selenium库自动化操作实现某宝的数据采集

已于 2024-07-18 15:18:50 修改
阅读量1.3k 收藏 30
点赞数 15
分类专栏： 爬虫 文章标签： selenium 自动化 测试工具 python pycharm
于 2024-07-18 14:19:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_82318077/article/details/140513447
版权

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

文章目录

前言

提示：这里可以添加本文要记录的大概内容：
随着时代的不断的进步，淘宝网站的反爬措施越来越强大，本文就介绍了如何使用Selenium库自动化操作淘宝搜索商品并抓取数据。

提示：以下是本篇文章正文内容，下面案例可供参考

一、了解利用Selenium库自动化操作时会遇到的反爬措施

1.登录账号

当我们点击搜索按钮后会跳转至登录界面，这是以为某宝为了反爬采取了必须登录账号才可以使用搜索功能，
使用登录账号是自动化操作不可避免的。

1.1.解决方案

使用Selenium库自动化操作实现输入你的账号（TAO_USERNAME）和密码（TAO_PASSWORD）以及点击登录按钮。
在这里插入图片描述

2.滑块验证

在这里插入图片描述
例如：
在这里插入图片描述

2.1.解决方案

这是一种某宝针对Selenium库自动化操作的反爬措施，这是你可以在执行自动化的网站按下F12键打开Console窗口再点击下面的眼睛按钮并输入window.navigator.webdriver
在这里插入图片描述
在这里插入图片描述
这时显示的结果是True，正常我们在浏览器中的结果是False，所以我们只需将True修改为False就可以跳过滑块验证了。

3.验证码验证

验证码验证是最后一个反爬措施了，但也是最麻烦的，当然这里还有其他的验证方式但相对而言验证码验证应该是最简单的了在这里插入图片描述
在这里插入图片描述

3.1.解决方案

我这里的建议是直接亲自完成这一步。（代码最好在点击登录按钮后面加上 time.sleep(60)保证自己有充足的时间完成这一步）

二、使用步骤

1.启用Chrome浏览器并避免浏览器的检测

代码如下（示例）：

    driver = webdriver.Chrome(r'C:\Program Files\Google\Chrome\Application\chromedriver-win64\chromedriver.exe')
    #注意：这里的webdriver.Chrome（）中的路径应当填写你的chromedriver.exe所在路径
    driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
        "source": """
            Object.defineProperty(navigator, 'webdriver', {
              get: () => false
            })
          """
    })

这一行代码使用Chrome DevTools Protocol (CDP) 向浏览器发送一个命令，以在创建新文档时执行一段JavaScript代码。 CDP是一种允许开发者与浏览器进行通信的协议，可以用来执行各种浏览器相关的操作。
“source”: “”" Object.defineProperty(navigator, ‘webdriver’, { get: () => false }) “”"：这是要执行的JavaScript代码。这段代码的作用是修改navigator.webdriver属性的行为，使其在访问时始终返回false。这是为了防止某些网站检测到浏览器正在使用Selenium WebDriver库，从而阻止用户访问该网站。

2.打开某宝的搜索页面

 driver.get('https://www.taobao.com/')
    driver.maximize_window()  # 最大化浏览器
    driver.implicitly_wait(10)  # 设置浏览器的隐式等待, 智能化的等待
    word=input("请输入搜索内容：")#本文章以红酒杯为例
    search_product(word)

3.编写搜索商品的功能函数search_product

首先我们要获取搜索框和搜索按钮的xpath路径：
在这里插入图片描述

第三步的图例：
在这里插入图片描述
搜索按钮的xpath路径也可以以此方式获取。

获取后的编写的search_product功能函数代码如下：

def search_product(keyword):
    # 输入框的标签对象
    driver.find_element(By.XPATH,'//*[@id="q"]').send_keys(keyword)
    # 为了避免被检测
    time.sleep(random.randint(1, 3))  # 随机休眠1到3秒
    driver.find_element(By.XPATH,'//*[@id="J_TSearchForm"]/div[1]/button').click()

4.编写登录的功能函数login

在这里插入图片描述

def login():
    driver.find_element(By.XPATH, '//*[@id="fm-login-id"]').send_keys(TAO_USERNAME)
    time.sleep(random.randint(1, 2))
    driver.find_element(By.XPATH, '//*[@id="fm-login-password"]').send_keys(TAO_PASSWORD)
    time.sleep(random.randint(1, 2))
    driver.find_element(By.XPATH, '//*[@id="login-form"]/div[6]/button').click()
    time.sleep(60)

5.爬取商品信息

具体细节我就不过多赘述了
在这里插入图片描述
代码采集的信息为图中红框范围

def parse_data():
    # 所有div标签
    divs = driver.find_elements(By.XPATH,'//*[@id="pageContent"]/div[1]/div[3]/div[3]/div/div')
    for div in divs:
        # 获取商品名称
        try:
            name = div.find_element(By.XPATH,'.//div[@class="Title--title--jCOPvpf "]//span').text
        except:
            name='无'
        # 获取商品价格
        try:
            price = div.find_element(By.XPATH,'.//div[@style="margin-right: 8px;"]//span').text
        except:
            price='无'
        # 获取商品购买人数
        try:
            number = div.find_element(By.XPATH,'.//span[@class="Price--realSales--FhTZc7U"]').text
        except:
            number='无'
        # 获取商品所属店铺
        try:
            shopname = div.find_element(By.XPATH,'.//div[@class="ShopInfo--TextAndPic--yH0AZfx"]//a').text
        except:
            shopname='无'
        f.write(f'{shopname},{name},{price},{number}\n')
        print(shopname,name,price,number)

6.存储爬取的信息

由于爬取的信息不算复杂就直接保存为CSV文件

    with open('红酒杯1.csv', 'w', encoding='utf-8') as f:
        f.write(f'店铺,商品名,价格,购买人数\n')
        search_product(word)

7.编写翻页的功能函数next_page

由于爬取的商品数据不止一页所以要实现翻页功能。

def next_page(page):
    for i in range(page):
        parse_data()
        driver.find_element(By.XPATH, '//*[@id="sortBarWrap"]/div[1]/div[2]/div[2]/div[8]/div/button[2]').click()
        time.sleep(5)

三. 成果展示

完整代码


import random
import time
from selenium import webdriver
from selenium.webdriver.common.by import By

# 某宝账号
TAO_USERNAME='1111111111'#这里填写自己的淘宝账号
# 淘宝密码
TAO_PASSWORD='1111111111'#这里填写自己的淘宝密码

def next_page(page):
    for i in range(page):
        parse_data()
        driver.find_element(By.XPATH, '//*[@id="sortBarWrap"]/div[1]/div[2]/div[2]/div[8]/div/button[2]').click()
        time.sleep(5)


# 解析数据
def parse_data():
    # 所有div标签
    divs = driver.find_elements(By.XPATH,'//*[@id="pageContent"]/div[1]/div[3]/div[3]/div/div')
    for div in divs:
        # 获取商品名称
        try:
            name = div.find_element(By.XPATH,'.//div[@class="Title--title--jCOPvpf "]//span').text
        except:
            name='无'
        # 获取商品价格
        try:
            price = div.find_element(By.XPATH,'.//div[@style="margin-right: 8px;"]//span').text
        except:
            price='无'
        try:
            number = div.find_element(By.XPATH,'.//span[@class="Price--realSales--FhTZc7U"]').text
        except:
            number='无'
        try:
            shopname = div.find_element(By.XPATH,'.//div[@class="ShopInfo--TextAndPic--yH0AZfx"]//a').text
        except:
            shopname='无'
        f.write(f'{shopname},{name},{price},{number}\n')
        print(shopname,name,price,number)


def login():
    driver.find_element(By.XPATH, '//*[@id="fm-login-id"]').send_keys(TAO_USERNAME)
    time.sleep(random.randint(1, 2))
    driver.find_element(By.XPATH, '//*[@id="fm-login-password"]').send_keys(TAO_PASSWORD)
    time.sleep(random.randint(1, 2))
    driver.find_element(By.XPATH, '//*[@id="login-form"]/div[6]/button').click()
    time.sleep(60)

# 搜索商品
def search_product(keyword):
    # 输入框的标签对象
    driver.find_element(By.XPATH,'//*[@id="q"]').send_keys(keyword)
    # 为了避免被检测
    time.sleep(random.randint(1, 3))  # 随机休眠1到3秒
    driver.find_element(By.XPATH,'//*[@id="J_TSearchForm"]/div[1]/button').click()
    login()
    driver.find_element(By.XPATH,'//*[@id="sortBarWrap"]/div[1]/div[2]/div[1]/div[1]/span[1]//*[@id="J_InputSmall1"]').send_keys(100)
    driver.find_element(By.XPATH,'//*[@id="sortBarWrap"]/div[1]/div[2]/div[1]/div[1]/span[2]//*[@id="J_InputSmall1"]').send_keys(300)
    time.sleep(random.randint(1, 2))
    driver.find_element(By.XPATH, '//*[@id="sortBarWrap"]/div[1]/div[1]/div/div[1]/div/div/div/ul/li[4]/div').click()
    time.sleep(3)  # 随机休眠3秒
    next_page(page)

if __name__ == "__main__":
    driver = webdriver.Chrome(r'C:\Program Files\Google\Chrome\Application\chromedriver-win64\chromedriver.exe')
    driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
        "source": """
            Object.defineProperty(navigator, 'webdriver', {
              get: () => false
            })
          """
    })
    '''
    这一行代码使用Chrome DevTools Protocol (CDP) 向浏览器发送一个命令，
    以在创建新文档时执行一段JavaScript代码。
    CDP是一种允许开发者与浏览器进行通信的协议，可以用来执行各种浏览器相关的操作。
    "source": """ Object.defineProperty(navigator, 'webdriver', { get: () => false }) """：
    这是要执行的JavaScript代码。这段代码的作用是修改navigator.webdriver属性的行为，使其在访问时始终返回false。
    这是为了防止某些网站检测到浏览器正在使用Selenium WebDriver库，从而阻止用户访问该网站。
    '''
    driver.get('https://www.taobao.com/')
    driver.maximize_window()  # 最大化浏览器
    driver.implicitly_wait(10)  # 设置浏览器的隐式等待, 智能化的等待
    word="红酒杯"
    page=10
    with open('红酒杯1.csv', 'w', encoding='utf-8') as f:
        f.write(f'店铺,商品名,价格,购买人数\n')
        search_product(word)

运行结果展示

在这里插入图片描述
在这里插入图片描述

总结

整个编写过程中：
1.登录账号环节：
需要我们知道淘宝针对Selenium库自动化操作的一系列反爬措施并对此需要我们采取一系列针对措施来应对。
2.采集商品数据环节：
没什么突出的难点只要掌握基本的Selenium库使用方法即可解决。

昙花无现
关注
专栏目录
别只用 Selenium，新神器 Pyppeteer 绕过淘宝更简单！_python 避免淘宝验证(1)
2401_84572844的博客
05-06 1055
Python崛起并且风靡，因为优点多、应用领域广、被大牛们认可。学习 Python 门槛很低，但它的晋级路线很多，通过它你能进入机器学习、数据挖掘、大数据，CS等更加高级的领域。Python可以做网络应用，可以做科学计算，数据分析，可以做网络爬虫，可以做机器学习、自然语言处理、可以写游戏、可以做桌面应用…Python可以做的很多，你需要学好基础，再选择明确的方向。这里给大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！
python采集抖音数据_抖音数据采集，最全python库selenium自动化使用！
weixin_39860583的博客
12-17 1108
driver = webdriver.Chrome()driver.maximize_window()四、访问页面from selenium import webdriverdriver = webdriver.Chrome()driver.get('https://www.baidu.com')五、定位元素定位元素的基本方法如下定位一个元素定位多个元素解释实例演示: 找到百度首页的输入框from...
C#操作Selenium自动化测试，采集数据实例源码。
03-05
C#操作Selenium自动化测试，采集数据实例源码。压缩包内有所需的资源，代码内有详细注释。可用于爬虫，采集数据，效率低，通过率高。
Python爬虫实战系列12：阿里系淘宝滑块验证码通过技术解析！
最新发布
Python_trys的博客
08-22 2232
本文通过大量搜索实现后得出结论经验，文章内容仅供学习交流。请自行学习代码实现以及chromedriver驱动修改。如果你是准备学习Python或者正在学习（想通过Python兼职），下面这些你应该能用得上：包括：Python激活码+安装包、Python web开发，Python爬虫，Python数据分析，人工智能、自动化办公等学习教程。带你从零基础系统性的学好Python！
Python+Scrapy+Selenium数据采集!超级详细！
爬遍所有网站
03-28 2812
我是好人，一个大大的良民。 好与坏，关键在于使用者噢！ Scrapy是一个常用的数据采集工具； Selenium是一个浏览器自动化测试工具； 结合Scrapy对数据的处理机制和Selenium模拟真实浏览器去获取数据（如：自动化登录，自动化翻页等）。可以更好的完成采集。 About Scrapy Scrapy是开发者在网络上用于常用的数据采集工具之一，对于通过API获...
pyppeeter 解决淘宝的滑动验证码
林羽的博客
11-07 9052
最开始 我做淘宝的滑动验证码 是用的selenium 做的 但是 经常被检测 而且现在大多大型的网站都对selenium进行了反扒限制。 下面这个代码 就是建立 cookie池之后的出现滑块 获取 json数据中的 x5sec 从而达到 暂时避免滑块 import base64 import json import os import MySQLdb import requests impor...
Selenium-网络数据采集工具库-初学篇
nephilimbiin的博客
10-14 913
库介绍 Selenium是一个强大的网络数据采集工具（http://www.seleniumhq.org/),最初是为网站自动化测试而开发，同时也它们也可以运行在浏览器上。在Python中应用功能主要如下： 让浏览器自动加载页面 获取浏览器网页加载的数据 页面截屏 判断网站上某些动作是否发生 项目环境 操作系统：win10 python版本：3.6 解析器：pycharm2018 ...
【Selenium & Other】一键摸鱼 & 一键采集数据
苟日新，日日新，又日新!!!
08-29 2332
Selenium化身摸鱼神器，一键打开N多个摸鱼网页；一键进行数据采集✨✨ 一键打开电脑多个程序，开机自启动指定多个程序，太棒了！！！✨✨
数据采集——爬虫篇(三)：selenium+Chrome实现自动化测试---爬取数据
dbldwang的博客
02-22 2388
数据采集——爬虫篇(三)：selenium+Chrome实现自动化测试—爬取数据 . 1.selenium环境安装部署 首先安装Chrome谷歌浏览器 查看设置系统版本： 然后下载Chrome对应的webdriver 地址：http://npm.taobao.org/mirrors/chromedriver/ 选择对应版本，我的版本是83.0.4103.97： 注：基本没有完全对应的版本，选择与当前版本最接近的即可 根据操作系统不同，选择对应驱动（剪头选择为Windows）： 下载解压并复制到chro
【python网络数据采集】selenium库基本配置及使用方法
PKM of bk
06-11 437
Selenium（http://www.seleniumhq.org/）是一个强大的网络数据采集工具，其最初是为网站自动化测试而开发的。近几年，它还被广泛用于获取精确的网站快照，因为它们可以直接运行在浏览器上。 Selenium可以让浏览器自动加载页面，获取需要的数据，甚至页面截屏，或者判断网站上某些动作是否发生。......
【爬虫实战】03使用Selenium爬取淘宝商品数据
Deeeeeeeeepl的博客
08-08 1068
是一个自动化测试工具，利用它可以驱动浏览器执行特定的动作，如点击、下拉等操作，同时还可以获取浏览器当前呈现的页面的源代码，做到可见即可爬。所以说，如果用 Selenium 来驱动浏览器加载网页的话，就可以直接拿到 JavaScript 渲染的结果了，不用担心使用的是什么加密系统。欢迎关注，共同探讨，共同进步！为了模拟人为进行操作，我们需要控制滚动条的移动，我们使用selenium执行js脚本的方法，来控制滚动条。请勿用于商业用途，请勿高频长时间访问服务器，请勿用于网络攻击，请勿恶意窃取信息，请勿用于作恶。
淘宝商品爬虫, selenium破解滑块验证（目前可用）
06-22
淘宝商品爬虫, selenium破解滑块验证（目前可用）
cdp_webdriver：Selenium 3.x Chrome DevTools协议命令
02-28
信息 该项目包含测试场景，这些场景练习了Java在Selenium测试期间访问而不将Selenium驱动程序升级到alpha版本4.0.x。 该代码是从副本开发的，而Chrome DevTools WebDriver集成项目是借用了更多实用程序和测试方案的。 要在将Selenium驱动程序升级到alpha版本4.0.x之后访问Chrome Devtools API ，请参阅项目 手术 自定义驱动程序扩展会检查位于以下位置的chrome日志文件 System . getProperty( " user.dir " ) + " /target/chromedriver.log " 并找到线 [1587217990.273][INFO]: Launching chrome: " C:\Program Files (x86)\Google\Chrome\Application\chrome
基于selenium的自动化知网文献爬虫python源码+运行说明（课程大作业）.zip
07-25
2、适用人群：计算机相关专业(如计科、信息安全、数据科学与大数据技术、人工智能、通信、物联网、自动化、电子信息等)在校学生、专业老师或者企业员工下载使用。 3、用途：项目具有较高的学习借鉴价值，不仅适用于...
抖音数据采集，最全python库selenium自动化使用！
pythonlaodi的博客
12-15 795
一、安装selenium pip install Selenium 二、初始化浏览器 PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取 python免费学习资料以及群交流解答点击即可加入 Chrome 是初始化谷歌浏览器 Firefox 是初始化火狐浏览器 Edge 是初始化IE浏览器 PhantomJS 是一个无界面浏览器。 from selenium import webdriver driver = webdriver.Chr
使用Selenium进行高效 网页数据采集
liwz的博客
07-05 693
Selenium是一个强大的Web自动化测试工具,同时也是一个优秀的数据采集工具。它可以模拟真实用户操作浏览器,处理动态加载的内容,填写表单,点击按钮等,这使得它在处理复杂网页时特别有优势。Selenium是一个强大的工具,可以帮助我们应对各种复杂的网页数据采集任务。它能够处理动态加载的内容、JavaScript渲染的页面,以及各种交互元素,这使得它在处理现代网页时特别有优势。性能：相比纯HTTP请求,Selenium运行较慢,不适合大规模快速爬取。稳定性：网页结构变化可能导致脚本失效,需要经常维护。
selenium自动登录淘宝（设置window.navigator.webdriver为false跳过滑块）
weixin_50971660的博客
07-01 1616
解决selenium自动登录淘宝跳过滑块验证
Selenium模拟登录系列 | 淘宝滑块验证码破解！不难嘛！
爬遍所有网站
06-29 8250
导 语 好久没更新了，上来冒个泡吧。各位小伙伴还记得前段时间号主挖过的一个坑嘛(虽然我曾经挖过无数个坑T_T)： Selenium模拟登录系列 | B站滑块验证码破解 今天随手更新了一下SeleniumLogin这个包，支持了一波利用selenium模拟登录淘宝，顺便分享给大家。虽然不想承认，但是这篇文章其实挺水的，因为我没想到淘宝的滑块验证码这么容易就能过T_T。 废话不多说，让我们愉快地开始吧~ 相 关 文 件 本系列所有相关代码都可以在这找到： https://...
已解决（selenium报错）AttributeError: ‘WebDriver‘ object has no attribute ‘execute_cdp_cmd‘
热门推荐
努力让自己发光，对的人才能迎着光而来
07-19 1万+
已解决（selenium报错）AttributeError: ‘WebDriver‘ object has no attribute ‘execute_cdp_cmd‘
Python Selenium自动化爬虫源码解析：Boss直聘招聘数据采集
2. **Selenium自动化测试框架**： - Selenium是一个用于Web应用程序测试的工具，支持多种浏览器和操作系统。 - 它通过模拟用户的浏览器行为来测试Web应用程序，可以用于自动化执行测试用例。 - Selenium的主要...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值