Selenium自动化测试工具——以爬取京东商品信息为例

最新推荐文章于 2024-04-05 19:31:28 发布

谷曰十鑫

最新推荐文章于 2024-04-05 19:31:28 发布

阅读量1.1k

点赞数

分类专栏： Python 文章标签： selenium Python 京东自动化测试

本文链接：https://blog.csdn.net/weixin_43636302/article/details/103571335

版权

本文介绍了如何利用Selenium自动化测试工具配合Python，进行京东商品信息的爬取。首先，列举了需要安装的依赖包，然后提供了完整的代码示例，展示了如何操作网页元素并获取所需数据。

摘要由CSDN通过智能技术生成

需要安装的包

import re
from selenium import webdriver
from selenium.common.exceptions import TimeoutException
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from pyquery import PyQuery as pq
import csv
import time

完整代码

browser = webdriver.Chrome()
wait = WebDriverWait(browser, 10)
def search():
    print('正在搜索')
    try:
        browser.get("https://www.jd.com/")
        input = wait.until(
            EC.presence_of_element_located((By.CSS_SELECTOR, '#key'))
        )
        input.send_keys(keywords)
        submit = wait.until(
            EC.element_to_be_clickable((By.CSS_SELECTOR, '#search > div > div.form > button')))
        time.sleep(3)
        submit.click()
        total = wait.until(
            EC.presence_of_elemen