Python+Selenium实战——爬取淘宝商品信息

已于 2024-05-17 19:02:13 修改
阅读量2k 收藏 67
点赞数 16
分类专栏： 爬虫相关 文章标签： python selenium okhttp
于 2024-05-16 16:37:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42898642/article/details/133804372
版权

Selenium在爬虫中的应用

一、利用Selenium爬取动态渲染页面

比如淘宝页面，它即使是Ajax获取的数据，但是其中的Ajax接口含有很多加密参数，我们难以找出其中规律，也很难直接分析Ajax来抓取，为了解决这些问题，我们可以直接使用模拟浏览器运行的方式来实现，这样就可以做到在浏览器中看到是什么样的，抓取的源码就是什么样的【可见即可爬】，这样我们就不用再去管网页内部的javaScript用了什么算法渲染页面，不管网页后台的Ajax接口到底有哪些参数

Selenium 是一个自动化测试工具，利用它可以驱动浏览器执行特定的行为，最终帮助爬虫开发者获取到网页的动态内容。简单的说，只要我们在浏览器窗口中能够看到的内容，都可以使用 Selenium 获取到，对于那些使用了 JavaScript 动态渲染技术的网站，Selenium 会是一个重要的选择。下面，我们还是以 Chrome 浏览器为例，来讲解 Selenium 的用法，大家需要先安装 Chrome 浏览器并下载它的驱动。

二、Selenium的基本使用

Selenium是一个自动化测试工具，利用它可以驱动浏览器执行特定的动作，如点击、下拉等操作、同时还可以获取浏览器当前呈现的页面的源代码，对于JavaScript动态渲染的页面来说，这种抓取方式非常有效

2.1 准备工作

这里我们以谷歌浏览器(Chrome)为例来讲解Selenium的用法，在开始之前，请大家确保已经安装好了Chrome浏览器以及对应的ChromeDriver

step1:下载Chrome浏览器的驱动程序
Chrome 浏览器的驱动程序可以在 ChromeDriver官网 进行下载，先查看自己的谷歌浏览器对应的版本，驱动的版本要跟浏览器的版本对应，在这里插入图片描述
如果没有完全对应的版本，就选择版本代号最为接近的版本，请在测试版本地址选择与你当前浏览器所对用的版本
在这里插入图片描述

step2：正确配置驱动文件所在路径
下载好驱动之后将驱动文件解压，将 chromedriver.exe 文件与你的 py 文件放在同一个目录下，当然也可以通过配置环境变量或者在代码中指定驱动文件的绝对路径在调用驱动（这里不做过多介绍）
在这里插入图片描述

step3：安装对应的第三方库Selenium

# 正常安装
pip install selenium

# 利用镜像快速安装
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple selenium

安装完成后可通过以下的命令查看安装的版本

pip show selenium

2.2 上手演练

Selenium 4.0以后提供了By对象来动态传入条件，等价于之前版本中的find_element_by_查找方式(值)，
通过方法find_element(By.查找条件, 条件值)【用之前需要先导入一下By对象】

driver.find_elements(By.查找条件, "条件值")

Selenium4.0以后已经取消了下面这种方式，感兴趣的同学可以自行了解

driver.find_elements_by_id("id 属性值") 
driver.find_elements_by_name("name 属性值") 
driver.find_elements_by_class_name("class 属性值") 
driver.find_elements_by_link_text("链接的文本") 
driver.find_elements_by_partial_link_text("链接的一部分文本") 
driver.find_elements_by_tag_name("HTML 标签名称") 
driver.find_elements_by_xpath("XPath 表达式") 
driver.find_elements_by_css_selector("CSS 选择器")

在这里插入图片描述
下面为百度的文本框对应的 HTML 源码

<input type="text" class="s_ipt" name="wd" id="kw" maxlength="100" autocomplete="off">

案例演示代码

from selenium import webdriver
from selenium.webdriver.common.by import By


driver = webdriver.Chrome()   # 声明浏览器对象
driver.get("https://www.baidu.com")

# 定位文本框
# 方式 1:按照 id 属性查找定位到文本框
searchTextBox = driver.find_element(By.ID, 'kw')

# 方式 2: 按照 name 属性查找定位到文本框
# searchTextBox = driver.find_element(By.NAME, 'wd')

# 方式 3: 按照 class 属性查找定位到文本框
# searchTextBox = driver.find_element(By.CLASS_NAME, 's_ipt')


# 模拟用户输入行为
searchTextBox.send_keys('')

# 通过Xpath获取元素
su_button = driver.find_element(By.XPATH, '//input[@type="submit" and @value="百度一下" and @class="bg s_btn"]')

# 模拟用户点击行为
su_button.click()

三、Selenium的详细介绍

3.1 浏览器窗口的基本操作

包含有以下相关操作，这里不做过多介绍，大家可以根据实际需要去查看相应的博文学习
1.浏览器导航操作
2.浏览器窗口操作
3.获取浏览器信息

3.2 查找页面元素

前文说过 Selenium 4.0以后提供了By对象来动态传入条件，等价于之前版本中的find_element_by_查找方式(值)，
通过方法find_element(By.查找条件, 条件值)【用之前需要先导入一下By对象】

  1. 按 id 属性查找
  2. 按 name 属性查找
  3. 按 class 属性查找
  4. 按链接文本查找
  5. 按链接文本进行模糊查找
  6. 按标签类型查找
  7. 按 XPath 查找

1.基于绝对路径或者相对路径定位
2.基于索引或属性定位
3.基于轴定位
4.基于函数或者表达式定位

  1. 按 CSS 选择器查找

1.通过层级关系定位
2.基于关键属性定位
3.基于属性进行模糊定位
4.组合式定位

注意：find_element() 与 find_elements() 方法的区别
find_element()只能获取匹配的第一个结点【结果是WebElement类型】find_elements()返回的是一个列表【列表中的每个结点都是WebElement类型】

3.3 页面元素的基本操作

  1. 单击元素
  2. 向元素输入内容或上传附件
  3. 清空元素的内容
  4. 提交表单元素
  5. 下拉框元素的选项操作

下拉框的操作和之前几种操作方式略有不同，之前介绍的操作都用 WebElement 对象的函数来进行操作，但下拉框使用 Select 对象的函数，因此需要先将 WebElement 对象转换成 Select 对象才能进行下拉框的操作

3.4 获取页面元素的内容

3.4.1 获取元素的基本属性
  1. 获取元素的文本值
  2. 获取元素的标签类型
  3. 获取元素的选中状态
  4. 获取元素的可编辑状态
  5. 判断元素是否已显示
3.4.2 获取元素的 HTML 属性、DOM 属性及 CSS 属性
3.4.3 获取元素的位置与大小
3.4.4 获取下拉框元素的选项

3.5 Selenium的等待机制【重要】

3.5.1 元素级等待机制——强制等待

利用time模块中的time.sleep()来实现，这种做法的弊端很明，处理起来毫无弹性。执行的速度和机器的性能有关，如果有一台机器严重卡顿，登录面板有可能 3s 都弹不出来

3.5.2 元素级等待机制——隐式等待
webdriver.implicitly_wait(等待秒数)

是在执行 find_element()/find_elements()这类函数时，如果在规定的时间内找到元素那么将立即结束等待，否则会一直等待，如果超过时间元素还未出现就会抛出找不到元素的异常
案例演示

from selenium import webdriver
from selenium.webdriver.common.by import By

driver = webdriver.Chrome()
driver.implicitly_wait(10)	# 设置的最长隐式等待时间为 10s
driver.get("https://www.baidu.com")
driver.find_element(By.LINK_TEXT, "登录").click()
driver.find_element(By.LINK_TEXT, "立即注册").click()

在这个案例中虽然设置的最长隐式等待时间为 10s，但由于通常 1s 内登录面板就会弹出，因此 Selenium 检测到元素已经存在就会结束等待立即执行下一行代码

注：隐式等待是全局设置的，一旦设置会在整个WebDriver实例的生命周期内生效

3.5.3 元素级等待机制——显示等待

元素级等待的最佳实践方式是显示等待，显示等待机制只需要指定条件判断函数，Selenium会每隔一定的时间检测该条件是否成立，如果成立就立刻执行下一步，否则一直等待，直到超过最大等待时间抛出超时异常

from selenium.webdriver.support.wait import WebDriverWait 

# WebDriverWait 的实例化方法如下
WebDriverWait(WebDriver实例, 超时秒数, 检测时间间隔[可选], 可忽略异常集合[可选] ) 
'''
可选参数1:检测时间间隔：调用 until 或 until_not 传入的条件判断函数的间隔时间，默认为 0.5s
可选参数2:可忽略异常集合：在调用 until 或 until_not 中传入的条件判断函数时，如果抛出的是这个集合中定义的异常，代码就不会执行失败，会继续正常执行
'''

实例化 WebDriverWait 对象后，可以调用 WebDriverWait 对象的以下两个函数来执行等待，等待直到条件判断函数的返回值不为 False

  • WebDriverWait.until(条件判断函数, "超时后的自定义异常消息"[可选])
  • WebDriverWait.until_not(条件判断函数, "超时后的自定义异常消息"[可选])

1.使用自定义等待条件函数
在单击"登录"按钮之后，使用 WebDriverWait 对象进行显示等待，超时时间设置为10s，并传入了前面定义的条件判断函数，执行显示等待时，Selenium 会每隔 0.5s 调用一次条件判断函数registerLinkDisplayed，如果条件满足，会立即执行下一行代码，以单击“立即注册”链接

自定义等待条件函数案例

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.wait import WebDriverWait


def registerLinkDisplayed(webDriver):
	"""
	自定义等待条件函数
	"""
    return webDriver.find_element(By.LINK_TEXT, "立即注册").is_displayed()


driver = webdriver.Chrome()
driver.get("https://www.baidu.com")
driver.find_element(By.LINK_TEXT, "登录").click()
WebDriverWait(driver, 10).until(registerLinkDisplayed)
driver.find_element(By.LINK_TEXT, "立即注册").click()

2.使用Selenium预定义的等待条件函数
除了自定义条件判断函数之外，还可以使用 Selenium 中已经定义好的一系列条件判断函数，无需再编写类似函数，Selenium 中预定义的等待条件函数位于selenium.webdriver.support.expected_conditions 模块中，需要导入后才能使用，Selenium 中预定义了非常丰富的条件等待函数，同学们可在实际项目需要的使用自行查表，这里不做过多介绍

使用Selenium预定义的等待条件函数案例

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.support import expected_conditions

driver = webdriver.Chrome()
driver.get("https://www.baidu.com")
driver.find_element(By.LINK_TEXT, "登录").click()
targetLocator = (By.LINK_TEXT, "立即注册")
WebDriverWait(driver, 10).until(expected_conditions.visibility_of_element_located(targetLocator))
driver.find_element(By.LINK_TEXT, "立即注册").click()

该案例使用了expected_conditions中预定义的条件判断函数 visibility_of_element_located，并向该函数中传入了用于判断的目标元素的定位的targetLocator ，在执行显式等待时，Selenium 会判断目标元素是否处于可见状态，条件满足后才执行下一行代码【点击立即注册按钮】

3.6 对键盘和鼠标进行精准模拟

3.6.1 ActionChains——操作链

之前介绍 WebDriver 基础运用时，已经介绍了单击click元素以及在元素中输入内容的 send_keys 函数。它们能涵盖日常使用中的绝大部分场景，但有些时候，我们需要对键盘或鼠标进行更加复杂的模拟与控制，这就需要用到 Selenium 中的高级特性之一ActionChains 了，ActionChains 是一种偏向底层的自动化交互方式，它可以实现鼠标移动、单击、右击、双击、鼠标按下或松开、悬停拖曳、按键按下或松开、按组合键等更复杂的操作

ActionChains基础操作演示

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.action_chains import ActionChains


driver = webdriver.Chrome()
# 进入百度首页
driver.get("https://www.baidu.com")

# .click(driver.find_element(By.LINK_TEXT, "登录")这里并不执行单击操作（而是在操作链中预约了一个单击操作，操作对象是"登录按钮"）

action = ActionChains(driver).click(driver.find_element(By.LINK_TEXT, "登录"))

# .perform():执行操作链中的所有操作(之前预约的click操作此时才会真正执行)
action.perform()
3.6.2 ActionChains——模拟复杂鼠标操作案例(拖放操作)

通过 ActionChains 提供的操作设置，可以轻松实现元素拖放的功能，这在实际测试和爬虫代码中十分有用

动作链示例演示代码

from time import sleep
from selenium import webdriver
from selenium.webdriver.common.by import By
# 1.导入动作链对应的类
from selenium.webdriver.common.action_chains import ActionChains


driver = webdriver.Chrome()

driver.get('https://www.runoob.com/try/try.php?filename=jqueryui-api-droppable')

# 如果定位的标签是存在于iframe标签之中的则必须通过如下操作在进行标签定位
driver.switch_to.frame('iframeResult')  # 切换浏览器标签定位的作用域
div = driver.find_element(By.ID, 'draggable')

# 2.实例化操作链
action = ActionChains(driver)
# 3.点击长按指定的标签动作("预约动作")
action.click_and_hold(div)

for i in range(5):
    # 4.perform()立即执行动作链操作
    # move_by_offset(x,y):x水平方向 y竖直方向
    action.move_by_offset(17, 0).perform()
    sleep(0.5)

# 5.释放动作链
action.release()

driver.quit()

ActionChains 最大的特色不仅仅支持更多复杂的操作，还支持链式操作方式（即每个函数都会返回 ActionChains 实例以便继续调用 ActionChains 的操作设置函数）将多个操作组合在一起形成一个完整的操作链，然后通过 perform 一起执行

3.6.3 ActionChains——模拟复杂键盘操作案例（组合键）

通过 ActionChains 还可以对键盘操作进行精准模拟，这里不做过多介绍

3.7 通过 JavaScript 执行器执行深度操作

虽然 Selenium 支持非常丰富的操作，但还是会遇到极少数无法处理的场景，此时可能需要使用 JavaScripts 执行器来扩展 Selenium，通过 JavaScript 执行器，Selenium 会向浏览器注入 JavaScript 脚本并执行它们，以实现额外的功能。这很像在 Chrome 浏览器中按 F12 键，在弹出的窗口的 Console 标签页中输入JavaScript 脚本，脚本就会在浏览器中执行

webdriver.execute_script("JavaScript 脚本", 自定义参数集（可选）) #执行同步脚本

四、实战案例：使用 Selenium 爬取淘宝商品信息

4.1 结果演示

先看看最后爬取的数据的效果，将数据爬取下来后保存至 excel 文件中，当然你也可以保存到数据库中
在这里插入图片描述

1. 准备工作

我们准备利用 Selenium 抓取淘宝商品并用 pyquery 解析得到商品的图片、名称、价格、购买人数、店铺名称、店铺所在地信息，抓取入口就是淘宝的搜索页面，这个连接可以通过直接构造参数访问，例如如果搜索 女生连衣裙，就可以直接访问 https://s.taobao.com/search?page=1&q=女生连衣裙&tab=all, 呈现的就是第一页的搜索结果
在这里插入图片描述

presence_of_element_located(locator【目标元素定位】)

根据定位判断页面上是否存在是否存在首个符合定位的元素，如果有(但未必可见)则返回该WebElement

element_to_be_clickable(locator【目标元素定位】)

根据定位判断目标元素是否处于可单击状态（已显示且未被禁用）

  1. 先构造一个 WebDriver 对象，使用的浏览器是 Chrome，然后指定一个关键词，如 iPad
  2. 定义 search_goods() 方法，用于抓取指定页面的商品
  • 2.1 先访问搜索商品的链接，然后判断当前页码，如果大于 1，就进行跳页操作，否则等待页面加载完成【我们使用 WebDriverWait 对象指定等待条件，同时指定一个最长等待时间(这里指定为最长 10 秒)，如果在这个时间内成功匹配了等待条件，也就是说页面元素加载出来了就立即返回相应结果并继续向下执行，否则直接抛出超时异常】
  • 2.2 进行翻页操作，首先获取页面底部的页码输入框赋值为 input(清空输入框，将页码填充到输入框中)，然后获取确定按钮赋值为 submit
  • 2.3 判断是否跳转到对应页码（判断当前高亮的页码数是当前的页码数即可）【text_to_be_present_in_element_value(locator【目标元素定位】,text【期望包含的文本】)：判断目标元素的 Value 属性是否已包含期望的文本】
  • 2.4 待加载出对应页码的商品列表后，再去调用 get_products() 方法进行页面解析

1. 查找商品

def search_goods(start_page, total_pages):
    """
    抓取索引页
    :start_page: 起始页码
    :total_pages: 需要抓取的总页数
    """
    print(f'正在爬取第{start_page}页')
    try:
        url = 'https://s.taobao.com'
        browser.get(url)
        time.sleep(5)  # 强制停止5秒,手动扫码登录

        # 找到搜索输入框
        input_box = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, "#q")))
        # 找到搜索按钮
        search_button = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, '#J_SearchForm > div > div.search-button > button')))

        input_box.send_keys(KEYWORD)  # 在输入框中输入关键词
        search_button.click()        # 点击搜索

        # 搜索商品后会再强制等待10秒(防止被识别为爬虫)，如有滑块请手动操作
        time.sleep(10)

        if start_page != 1:
            # 使用JavaScript滚动到页面底部
            browser.execute_script("window.scrollTo(0, document.body.scrollHeight);")
            time.sleep(random.randint(1, 3))  # 滑倒底部后停留 1 - 3 秒

            # 定位到页面底部的页码输入框
            page_box = wait.until(EC.presence_of_element_located((By.XPATH, '//*[@id="pageContent"]/div[1]/div[3]/div[4]/div/div/span[3]/input')))
            print('定位到页面底部的页码输入框成功')
            page_box.clear()  # 清空输入框
            page_box.send_keys(start_page)  # 调用 send_keys() 方法将页码填充到输入框中

            submit = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, '#pageContent > div.LeftLay--leftWrap--xBQipVc > div.LeftLay--leftContent--AMmPNfB > div.Pagination--pgWrap--kfPsaVv > div > div > button.next-btn.next-medium.next-btn-normal.next-pagination-jump-go > span')))
            submit.click()

        # 获取每一页的信息
        get_products()

        for i in range(start_page + 1, start_page + total_pages):
            page_turning(i)
    except TimeoutException as e:
        print("搜索商品超时", e)
        search_goods(start_page, total_pages)

2. 爬取商品数据

def get_products(page_num):
    """
    获取对应页码下的所有商品
    :param page_num:页码
    :return:
    """
    print(f"正在提取第{page_num}页的商品信息...")
    time.sleep(random.randint(3, 5))
    simulate_scroll()   # 模拟鼠标慢慢滚动以加载图片
    time.sleep(random.randint(3, 5))
    html = browser.page_source
    doc = pq(html)

    # 提取所有商品的共同父元素的类选择器
    items = doc('div.PageContent--contentWrap--mep7AEm > div.LeftLay--leftWrap--xBQipVc > div.LeftLay--leftContent--AMmPNfB > div.Content--content--sgSCZ12 > div > div').items()
    for item in items:
        title = item.find('.Title--title--jCOPvpf > span').text()   # 定位商品标题
        image = item.find('.MainPic--mainPicWrapper--iv9Yv90 > img').attr('src')   # 定位商品图片地址
        price = item.find('span.Price--priceInt--ZlsSi_M').text() + item.find('span.Price--priceFloat--h2RR0RK').text() + '元'  # 定位价格
        deal = item.find('.Price--realSales--FhTZc7U').text()   # 定位交易量
        shop = item.find('.ShopInfo--shopName--rg6mGmy').text()   # 定位店名

        # 定位所在地信息
        location = item.find('div.Price--priceWrapper--Q0Dn7pN > div:nth-child(4) > span').text() + ' ' + item.find('div.Price--priceWrapper--Q0Dn7pN > div:nth-child(5) > span').text()

        product = {
            '商品图片': image,
            '价格': price,
            '商品简介': title,
            '交易数量': deal,
            '店铺名称': shop,
            '店铺所在地': location
        }
        ws.append([product['商品简介'], product['价格'], product['交易数量'], product['店铺名称'], product['店铺所在地'], product['商品图片']])
        print(product)

3. 模拟鼠标慢滚以加载商品图片

def simulate_scroll():
    """
    模拟鼠标慢慢滚动
    :return:
    """
    # 获取页面高度
    page_height = browser.execute_script("return document.body.scrollHeight")

    # 定义滚动步长和间隔时间
    scroll_step = 5  # 每次滚动的距离
    scroll_delay = 5  # 每次滚动的间隔时间（秒）

    # 模拟慢慢滚动
    current_position = 0
    while current_position < page_height:
        # 计算下一个滚动位置
        next_position = current_position + scroll_step

        # 执行滚动动作
        browser.execute_script(f"window.scrollTo(0, {next_position});")

        # 等待一段时间
        browser.implicitly_wait(scroll_delay)

        # 更新当前滚动位置
        current_position = next_position

4. 页面跳转处理

def page_turning(page_num):
    print(f'正在跳转至第{page_num}页')
    try:
        # 使用JavaScript滚动到页面底部
        browser.execute_script("window.scrollTo(0, document.body.scrollHeight);")
        # 找到下一页的按钮
        submit = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, '#pageContent > div.LeftLay--leftWrap--xBQipVc > div.LeftLay--leftContent--AMmPNfB > div.Pagination--pgWrap--kfPsaVv > div > div > button.next-btn.next-medium.next-btn-normal.next-pagination-item.next-next > span')))
        submit.click()
        # 判断页码是否和当前页相等
        wait.until(EC.text_to_be_present_in_element((By.CSS_SELECTOR, '#pageContent > div.LeftLay--leftWrap--xBQipVc > div.LeftLay--leftContent--AMmPNfB > div.Pagination--pgWrap--kfPsaVv > div > div > div > button.next-btn.next-medium.next-btn-normal.next-pagination-item.next-current'), str(page_num)))
        print("跳转页面成功")
        get_products()   # 获取该页商品数据
    except TimeoutException:
        page_turning(page_num)

实战案例完整代码（注：需要手动完成扫码登录）

import time
import random

from openpyxl import Workbook

from selenium import webdriver
from selenium.common.exceptions import TimeoutException
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait
from pyquery import PyQuery as pq


# 设置为开发者模式，防止被各大网站识别出来使用了Selenium console中输入window.navigator.webdriver 测试
def get_browser():
    browser = webdriver.Chrome()
    # 2.使用js关闭检测机制
    browser.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
        "source": """
                Object.defineProperty(navigator, 'webdriver', {
                  get: () => undefined
                })
                """
    })

    # 3.返回浏览器对象
    return browser


def page_turning(page_num):
    print(f'正在跳转至第{page_num}页')
    try:
        # 使用JavaScript滚动到页面底部
        browser.execute_script("window.scrollTo(0, document.body.scrollHeight);")
        # 找到下一页的按钮
        submit = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, '#pageContent > div.LeftLay--leftWrap--xBQipVc > div.LeftLay--leftContent--AMmPNfB > div.Pagination--pgWrap--kfPsaVv > div > div > button.next-btn.next-medium.next-btn-normal.next-pagination-item.next-next > span')))
        submit.click()
        # 判断页码是否和当前页相等
        wait.until(EC.text_to_be_present_in_element((By.CSS_SELECTOR, '#pageContent > div.LeftLay--leftWrap--xBQipVc > div.LeftLay--leftContent--AMmPNfB > div.Pagination--pgWrap--kfPsaVv > div > div > div > button.next-btn.next-medium.next-btn-normal.next-pagination-item.next-current'), str(page_num)))
        print("跳转页面成功")
        get_products(page_num)   # 获取该页商品数据
    except TimeoutException:
        page_turning(page_num)


def simulate_scroll():
    """
    模拟鼠标慢慢滚动以加载商品图片
    :return:
    """
    # 获取页面高度
    page_height = browser.execute_script("return document.body.scrollHeight")

    # 定义滚动步长和间隔时间
    scroll_step = 5  # 每次滚动的距离
    scroll_delay = 5  # 每次滚动的间隔时间（秒）

    # 模拟慢慢滚动
    current_position = 0
    while current_position < page_height:
        # 计算下一个滚动位置
        next_position = current_position + scroll_step

        # 执行滚动动作
        browser.execute_script(f"window.scrollTo(0, {next_position});")

        # 等待一段时间
        browser.implicitly_wait(scroll_delay)

        # 更新当前滚动位置
        current_position = next_position


def get_products(page_num):
    """
    获取对应页码下的所有商品
    :param page_num:页码
    :return:
    """
    print(f"正在提取第{page_num}页的商品信息...")
    time.sleep(random.randint(3, 5))
    simulate_scroll()   # 模拟鼠标慢慢滚动以加载图片
    time.sleep(random.randint(3, 5))
    html = browser.page_source
    doc = pq(html)

    # 提取所有商品的共同父元素的类选择器
    items = doc('div.PageContent--contentWrap--mep7AEm > div.LeftLay--leftWrap--xBQipVc > div.LeftLay--leftContent--AMmPNfB > div.Content--content--sgSCZ12 > div > div').items()
    for item in items:
        title = item.find('.Title--title--jCOPvpf > span').text()   # 定位商品标题
        image = item.find('.MainPic--mainPicWrapper--iv9Yv90 > img').attr('src')   # 定位商品图片地址
        price = item.find('span.Price--priceInt--ZlsSi_M').text() + item.find('span.Price--priceFloat--h2RR0RK').text() + '元'  # 定位价格
        deal = item.find('.Price--realSales--FhTZc7U').text()   # 定位交易量
        shop = item.find('.ShopInfo--shopName--rg6mGmy').text()   # 定位店名

        # 定位所在地信息
        location = item.find('div.Price--priceWrapper--Q0Dn7pN > div:nth-child(4) > span').text() + ' ' + item.find('div.Price--priceWrapper--Q0Dn7pN > div:nth-child(5) > span').text()

        product = {
            '商品图片': image,
            '价格': price,
            '商品简介': title,
            '交易数量': deal,
            '店铺名称': shop,
            '店铺所在地': location
        }
        ws.append([product['商品简介'], product['价格'], product['交易数量'], product['店铺名称'], product['店铺所在地'], product['商品图片']])
        print(product)


def search_goods(start_page, total_pages):
    """
    抓取索引页
    :param page: 页码
    """
    print(f'正在爬取第{start_page}页')
    try:
        url = 'https://s.taobao.com'
        browser.get(url)
        time.sleep(5)  # 强制停止5秒,手动扫码登录

        # 找到搜索输入框
        input_box = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, "#q")))
        # 找到搜索按钮
        search_button = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, '#J_SearchForm > div > div.search-button > button')))

        input_box.send_keys(KEYWORD)
        search_button.click()

        # 搜索商品后会再强制等待10秒，如有滑块请手动操作
        time.sleep(10)

        if start_page != 1:
            # 使用JavaScript滚动到页面底部
            browser.execute_script("window.scrollTo(0, document.body.scrollHeight);")
            time.sleep(random.randint(1, 3))  # 滑倒底部后停留 1 - 3 秒

            # 定位到页面底部的页码输入框
            page_box = wait.until(EC.presence_of_element_located((By.XPATH, '//*[@id="pageContent"]/div[1]/div[3]/div[4]/div/div/span[3]/input')))
            print('定位到页面底部的页码输入框成功')
            page_box.clear()  # 清空输入框
            page_box.send_keys(start_page)  # 调用 send_keys()方法将页码填充到输入框中

            submit = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, '#pageContent > div.LeftLay--leftWrap--xBQipVc > div.LeftLay--leftContent--AMmPNfB > div.Pagination--pgWrap--kfPsaVv > div > div > button.next-btn.next-medium.next-btn-normal.next-pagination-jump-go > span')))
            submit.click()

        # 获取每一页的信息
        get_products(start_page)

        for i in range(start_page + 1, start_page + total_pages):
            page_turning(i)
        wb.save(r'淘宝商品数据.xlsx')
    except TimeoutException as e:
        print("搜索商品超时", e)
        search_goods(start_page, total_pages)


def main():
    try:
        page_start = int(input("输入您想开始爬取的页面数:"))
        page_all = int(input("输入您想爬取的总页面数: "))
        search_goods(page_start, page_all)
    except Exception as e:
        print("main函数报错:", e)


if __name__ == '__main__':
    KEYWORD = '女生连衣裙'
    browser = get_browser()
    wait = WebDriverWait(browser, 30)
    wb = Workbook()   # 新建工作簿
    ws = wb.active    # 获取工作表
    ws.append(['商品简介', '价格', '交易数量', '店铺名称', '店铺所在地', '商品图片'])
    main()
code_lover_forever
关注
  • 16
    点赞
  • 踩
  • 67
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 13
    评论
专栏目录
Selenium之实战案例
明思齐的博客
09-18 944
注：第1-3步与上述获取文本信息一致！3.设定睡眠时间（可根据网络速度实际调整）2.点开JD网址并指定关键字搜索。4.查找商品列表并获取相关信息。一、Selenium爬取商品信息。//执行js，滚动条下拉到最底。二、Selenium爬取图片。
python -- 使用selenium模拟登录淘宝，爬取商品信息
qq_44936246的博客
10-21 1202
目录环境谷歌驱动下载解析代码 环境 windows10 python3.7.3 selenium 谷歌 谷歌驱动 谷歌驱动下载 http://chromedriver.storage.googleapis.com/index.html 下载与自己电脑谷歌浏览器版本相应的谷歌驱动 解析 在这里主要爬去商品的基本信息： 代码 from selenium import webdriver import time from selenium.webdriver import ActionChains im
Selenium实战-模拟登录淘宝并爬取商品信息
学而思(xiejava的blog)
02-26 5939
现在很多网站要获取数据都得要先登录。Selenium是一个用于Web应用程序测试的自动化工具。它直接运行在浏览器中，模拟真实用户的操作。本文介绍如何通过Selenium来登录淘宝并自动爬取商品信息。
【爬虫】Python实现爬取淘宝商品信息（超详细）
最新发布
qq_46315152的博客
07-25 2165
项目基于Python的第三方库Selenium模拟浏览器运行、PyQuery解析和操作HTML文档，获取淘宝平台中某类商品的详细信息（商品标题、价格、销量、商铺名称、地区、商品详情页链接、商铺链接等），并基于第三方库openpyxl建立、存储于Excel表格中。# 全局变量count = 1 # 写入Excel商品计数# 启动ChromeDriver服务# 关闭自动测试状态显示 // 会导致浏览器报：请停用开发者模式# 把chrome设为selenium驱动的浏览器代理；# 窗口最大化。
使用selenium抓取淘宝商品数据
Kaaaakaki的博客
10-18 474
# #使用selenium抓取淘宝商品数据 # # 通过传入关键词 得到要找的关键词商品的网页 # # 解析网页中的商品数据 # # 将解析后的数据保存到mongodb from selenium import webdriver from selenium.common.exceptions import TimeoutException from selenium.webdriver.common.by import By from selenium.webdriver.support import
使用Selenium爬取淘宝商品（绕过登录页面）
降温的博客
04-08 7530
文章目录1.准备工作2.接口分析3.页面分析4.获取商品列表5.解析商品列表6.保存到MongoDB7.遍历每页8.异常处理（绕过登录反爬机制）方法一：修改ChromeDriver.exe方法二：将用户信息的配置文件在代码中加载9.运行参考文献 在之前的文章中，我们成功尝试分析Ajax来抓取页面相关数据，但是并不是所有的页面都可以通过分析Ajax来完成抓取。比如，淘宝，它的整个页面数据构造也是用过Ajax获取的，但是这些Ajax接口参数比较复杂，可能会包含加密密钥等，所以如果想自己构造Ajax参数，还是比较
【爬虫】python使用selenium抓取淘宝中的商品数据
SY的博客
09-13 4166
前言 最近因为项目需要又得抓一批数据，和之前的scrapy不同，这次选择使用selenium来爬取。两种方法的区别如下： scrapy之类的库是基于网络请求来爬取的，也就是直接向目标服务器发送http请求，在这个过程中需要自己构造请求字段也就是json格式的request body。 selenium一类的库是基于自动化测试的，我们只需要知道想要访问的链接就好，其它的（异步加载图片、信息之类的）交给浏览器来做。也因此在使用时需要额外下载浏览器以及对应驱动，比如googledriver。 总而言之，虽然s
使用selenium爬取淘宝商品信息
qq_42213727的博客
07-06 738
使用selenium爬取淘宝商品信息，先进入淘宝主页，在搜索那里自动输入apple，自动跳转到有关apple的页面，然后爬取信息。跳转到第二页，要先进行句柄操作，否则爬取的信息还是第一页的。from selenium import webdriver from selenium.webdriver.common.desired_capabilities import DesiredCapabili...
利用selenium爬取淘宝商品
coolcooljob的博客
05-20 3853
        目标：利用selenium抓取淘宝商品并利用pyquery解析得到的商品名称，图片，价格，购买人数，店铺名称和店铺所在地信息，并将其保存在mongodb。1.打开淘宝首页，搜索你要搜索的商品名称，比如我这里搜索ipad,注意观察此时的url有什么变化(附上链接https://s.taobao.com/search?q=ipad）)，仔细观察便可以看到不同，然后查看网页源代码，找到商...
Python+Selenium实战之爬取京东商品数据
Jane
10-28 2442
# -*- coding: utf-8 -*- # @Time : 2021/10/26 17:35 # @Author : Jane # @Software: PyCharm # 导入库 from time import sleep from selenium import webdriver from selenium.webdriver.common.keys import Keys # 键盘按键操作 from os import path def spider(url, keyword):
python+selenium爬取淘宝商品信息+淘宝自动登录——爬虫实战
DAIBISON的博客
03-05 2897
1.前言 继续学习爬虫内容，这回是以selenium模拟操作进行抓取，其中有几个需要登陆的注意事项。 2.自动登陆+查找页面 由于现在淘宝的反爬机制，需要登陆才好下一步操作。在搜索输入后页面会调入登陆界面，经过测试发现微博登陆是不需要验证码的，如果使用账号密码登陆是要滑动，但反爬更加严格，笔者暂时没有解决。也尝试过加cookie，也失败了。因此最好的方法还是利用微博账号自动登录。 登录后获取总页数...
（廿八）Python爬虫：使用Selenium爬取淘宝商品信息-附件资源
03-05
（廿八）Python爬虫：使用Selenium爬取淘宝商品信息-附件资源
python爬取淘宝商品信息
01-26
import requests from bs4 import BeautifulSoup import bs4 def getHTMLText(url): try: r = requests.get(url, timeout=30) r.raise_for_status() r.encoding = r.apparent_encoding return r.text except: return "" def fillUnivList(ulist, html): soup = BeautifulSoup(html, "html.parser") for a in soup.find('tbody').children: if isinstance(a, bs4.element.Tag): tds = a('td') ulist.append([tds[0].string, tds[1].string, tds[2].string, tds[3].string]) def printUnivList(ulist, num): print("{:^10}\t{:^6}\t{:^6}\t{:^16}".format("排名","学校名称","地区","总分")) for i in range(num): u=ulist[i] print("{:^10}\t{:^6}\t{:^6}\t{:^16}".format(u[0],u[1],u[2],u[3]))
python爬取淘宝商品详情页数据
09-20
主要为大家详细介绍了python爬取淘宝商品详情页数据的相关资料，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
Selenium实战之Python+Selenium爬取京东商品数据
Jane
10-29 7284
实战目标：爬取京东商品信息，包括商品的标题、链接、价格、评价数量。 代码核心在于这几个部分： 其一：使用元素定位来获取页面上指定需要抓取的关键字； 其二：将页面上定位得到的数据永久存储到本地文件中。 具体来梳理一下从访问URL开始到爬取数据整个流程下来的各个节点我们都做了哪些工作。 1、准备接口数据 # 京东商城网址 url = 'https://www.jd.com/' 2、创建浏览器实例对象 # driver = webdriver.Firefox() # 创建 Firefox 浏览器实
基于Python，jenkins+pytest+allure+selenium项目实战
weixin_43103603的博客
05-25 1868
基于Python，jenkins+pytest+allure+selenium项目实战 本人找工作不顺利，有点困惑。自己仍是一枚小菜鸟，希望大神带带我。记录一下自己做过的项目，前端时间一直在学Java，不然时间久了我都以为自己真啥也不会了。哎~难啊 进入正题 ![项目目录](https://img-blog.csdnimg.cn/20210524224246191.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,
python爬虫——scrapy+selenium爬取新浪微博及评论
csdn950212的博客
01-21 7341
本文主要对爬取过程中所用到的知识做简单总结，最后有项目链接。 一、项目简介 本项目利用python的scrapy框架+selenium模拟登陆微博来爬取带有关键字的微博及微博下面的评论（1 、2级评论）。 当时自己比较关注“小凤雅事件”，而微博又是舆论的战场，就想爬取“小凤雅事件”的相关微博以及评论，看看大家的关注点在哪里，于是就行动起来了。 下面是对主要技术的介绍。 二、scrapy介...
使用selenium爬取淘宝商品
weixin_45075241的博客
05-28 1576
爬取的页面是：“https://s.taobao.com/search?q=手机”，这个是淘宝搜索手机时候的网址。 爬取的思路：使用selenium来模拟登陆淘宝，然后爬取这一页中商品的一些信息；爬取完以后，找到输入页面的输入框，依次输入下一页的页码，比如刚刚爬的是第一页，就输入2，再点击确定按钮，以此类推，就可以实现翻页的功能。其中需要多次使用WebDriverWait，来保证需要爬取的内容出...
爬取淘宝商品-使用selenium
m0_54184060的博客
06-07 563
爬取淘宝商品信息，基于selenium工具，基本思路：使用selenium打开浏览器进入淘宝页面并搜索管检测，等待页面加载完毕，在网页源代码中寻找信息。需要使用selenium、pyquery和urllib库。用于个人学习笔记，错误之处请指正。在代码中有详细注释。寻找网址和搜索关键词，用于构造URL。2.2 构造浏览器对象和关键词。2.3 获取商品列表。2.4 解析商品信息。
用python+selenium爬取小红书数据
05-02
小红书是一家非常流行的社交电商平台，对于爬取小红书的数据，需要使用 Python 的 Selenium 库。下面是爬取小红书数据的简单步骤： 1. 安装 Selenium 库 ```python pip install selenium ``` 2. 下载 Chrome 浏览器驱动 Selenium 需要使用浏览器驱动来模拟用户行为，因此需要下载浏览器驱动。你可以从这里下载 Chrome 浏览器驱动：https://chromedriver.chromium.org/downloads 注意：下载的驱动版本需要与你的 Chrome 浏览器版本匹配。 3. 编写代码 ```python from selenium import webdriver # 设置 Chrome 驱动路径 driver_path = 'path/to/chromedriver' # 创建 Chrome 浏览器对象 driver = webdriver.Chrome(driver_path) # 打开小红书网站 driver.get('https://www.xiaohongshu.com/') # 在搜索框输入关键词 search_box = driver.find_element_by_name('q') search_box.send_keys('美妆') # 点击搜索按钮 search_button = driver.find_element_by_class_name('search__btn') search_button.click() # 获取搜索结果 search_results = driver.find_elements_by_class_name('note-list-item') for result in search_results: print(result.text) # 关闭浏览器 driver.quit() ``` 上面的代码实现了在小红书网站上搜索关键词“美妆”，然后打印搜索结果。你可以根据自己的需求修改代码，获取更多的数据。同时，注意不要过于频繁地爬取数据，以免被封禁。
评论 13
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

code_lover_forever

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值