selenium爬取阿里巴巴商品目录页面

最新推荐文章于 2025-03-21 17:50:58 发布

CoolScript

最新推荐文章于 2025-03-21 17:50:58 发布

阅读量1.1k

点赞数

分类专栏： python 文章标签： selenium + python

本文链接：https://blog.csdn.net/CoolScript/article/details/89349100

版权

本文介绍如何利用selenium无头浏览器爬取阿里巴巴的商品目录，无需登录。通过逐层点击更多来获取所有目录内容，并存储到mongodb中，同时使用tqdm展示进度条。在抓取过程中，不加载图片并忽略某些警告，还模拟了手机浏览模式。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

仅仅是获取商品目录，不需要登陆
逻辑很简单，打开首页，点击更多，逐层把目录的内容爬下来，同时编好关联的ID

注意：

使用mongodb存储（因为不需要先建库，省事儿）
tqdm添加进度条，好看点
不加载图片
无头浏览器
忽略一些警告
模拟手机

from selenium import webdriver
from scrapy import Selector
import time
import pymongo
from tqdm import tqdm


# 链接到mongodb
client = pymongo.MongoClient('localhost', 27017)
# 数据库的名字：ali1688
db = client.ali1688

chrome_options = webdriver.ChromeOptions()
# 配置不加载图片
prefs = {
   "profile.managed_default_content_settings.images": 2}
chrome_options.add_experimental_option("prefs", prefs)
# 配置无头浏览器
chrome_options.add_argument('--headless')
# 忽略一些警告
chrome_options.add_argument('--log-level=3')
# 模拟手机浏览器
mobile_emulation