py爬虫自学入门__10(使用selenium模拟浏览器抓取淘宝商品信息)

最新推荐文章于 2023-03-31 14:48:31 发布

跪求一个offer

最新推荐文章于 2023-03-31 14:48:31 发布

阅读量319

点赞数 1

分类专栏： py_爬虫

本文链接：https://blog.csdn.net/weixin_41147987/article/details/89060328

版权

本文介绍了如何通过Python的Selenium库模拟浏览器行为，抓取淘宝网站上的商品信息。内容包括Selenium的基本用法，设置webdriver，以及如何定位和提取网页元素。

摘要由CSDN通过智能技术生成

'''
一、 目标站点分析

二、 流程框架

    1、搜索关键字:

        利用selenium驱动浏览器搜索关键字，得到查询后的商品列表

    2、分析页码并翻页:

        得到商品页码数，模拟翻页，得到后续页面的商品列表

    3、存储至MongoDB:

        将商品列表信息存储到数据库MongoDB

    4、分析提取商品内容:

        利用PyQuery分析源码，解析得到商品列表

三、爬虫实战
'''

from selenium import webdriver
import re
from selenium.common.exceptions import TimeoutException
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from pyquery import PyQuery as pq
from config import *
import pymongo

# 定义MongoDB配置
client = pymongo.MongoClient(MONGO_URL)
db = client[MONGO_DB]

# 创建webdriver对象(浏览器对象)
browser = webdriver.Chrome()
# 创建等待变量
wait = WebDriverWait(browser, 10)

# 模拟浏览器搜索‘美食’
def search():
    try:
        # 加载淘宝首页
        browser.get('https://www.taobao.com/')
        # 等待输入框加载完成
        inp