运用selenium爬取京东商品数据储存到MySQL数据库中

使用Selenium爬取京东商品数据并存储到MySQL数据库中的过程可以分为几个步骤：

1. 准备工作

安装所需库

确保你已经安装了Python环境以及以下库：

• selenium：用于自动化浏览器操作。
• pymysql 或 mysql-connector-python：用于连接MySQL数据库。
• webdriver：如ChromeDriver，对应你的浏览器版本。

可以通过pip安装这些库：

pip install selenium pymysql

下载WebDriver

根据使用的浏览器下载对应的WebDriver，并确保其路径已添加到系统PATH中。

2. 编写代码

连接MySQL数据库

首先，你需要创建一个MySQL数据库以及表结构来存放京东商品数据。下面是一个简单的数据库连接示例：

import pymysql

# 数据库连接配置
db_config = {
    'host': 'localhost',
    'user': 'your_username',
    'password': 'your_password',
    'db': 'your_database',
    'charset': 'utf8mb4'
}

def connect_db():
    return pymysql.connect(**db_config)

# 创建表（如果尚未创建）
def create_table():
    conn = connect_db()
    cursor = conn.cursor()
    sql = """
    CREATE TABLE IF NOT EXISTS jd_goods (
        id INT AUTO_INCREMENT PRIMARY KEY,
        product_name VARCHAR(255),
        price DECIMAL(10, 2),
        link VARCHAR(255),
        image_url VARCHAR(255),
        description TEXT,
        timestamp TIMESTAMP DEFAULT CURRENT_TIMESTAMP
    )
    """
    cursor.execute(sql)
    conn.commit()
    cursor.close()
    conn.close()

create_table()

使用Selenium爬取数据

接下来，使用Selenium打开网页，定位到商品信息元素，并提取数据。

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager
import time
import pymysql

def scrape_jd_goods(keyword):
    # 初始化Selenium
    driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()))
    
    # 访问京东搜索页面
    url = f'https://www.jd.com/allSort.aspx?keyword={keyword}'
    driver.get(url)
    time.sleep(3) # 等待页面加载
    
    # 获取商品列表
    goods_list = driver.find_elements(By.XPATH, '//li[@class="gl-item"]')
    
    # 存储数据到数据库
    for good in goods_list:
        try:
            name = good.find_element(By.XPATH, './/div[@class="p-name"]/a/em').text
            price = float(good.find_element(By.XPATH, './/div[@class="p-price"]').text.replace('', '').replace('元', '').strip())
            link = good.find_element(By.XPATH, './/div[@class="p-name"]/a').get_attribute('href')
            img_url = good.find_element(By.XPATH, './/div[@class="p-img"]/a/img').get_attribute('src')
            
            # 插入数据库
            with connect_db() as conn:
                cursor = conn.cursor()
                sql = "INSERT INTO jd_goods (product_name, price, link, image_url) VALUES (%s, %s, %s, %s)"
                cursor.execute(sql, (name, price, link, img_url))
                conn.commit()
        except Exception as e:
            print(f"Error scraping data: {e}")
    
    driver.quit()

# 示例：爬取关键词“手机”的商品信息
scrape_jd_goods('手机')

注意事项

• 实际应用中可能需要处理更复杂的页面结构、分页、反爬虫策略等问题。
• 上述代码未包含错误处理的完整逻辑，实际应用时应加入异常处理提高健壮性。
• 频繁请求可能会触发京东的反爬机制，建议设置合理的延时，并遵守网站的爬虫政策。
• 考虑使用webdriverwait代替time.sleep()以提高效率和稳定性。