python爬取淘宝数据

MagnusChuen

已于 2024-04-27 22:32:10 修改

阅读量984

点赞数 37

分类专栏：一些小项目实践文章标签： python 网络爬虫爬虫

于 2024-04-27 22:25:56 首次发布

本文链接：https://blog.csdn.net/2401_84219403/article/details/138259651

版权

本文介绍了一个简单的Python脚本，利用Selenium和BeautifulSoup库爬取淘宝搜索结果中的商品价格、销量和名称，用户输入搜索词和页数后，脚本会自动滚动并抓取指定页数的商品信息，最后将数据保存为CSV文件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在网上看到很多大佬写的程序，要么是时间太早要么就是配置太复杂，所以自己研究手搓了一套。暴力简单但肥肠的好用，可以爬取指定搜索词，指定页数的商品信息。

from selenium import webdriver
from selenium.webdriver.common.by import By
import time
import csv
from bs4 import BeautifulSoup

search_name= input('输入你要搜索的内容')
demanded_page = input('你需要多少页的内容')
driver = webdriver.Chrome()

price_list = []
sale_list = []
name_list = []

#定义向下滑动至底部的js代码
js = 'window.scrollTo(0, document.body.scrollHeight)'

def get_price(bs):
    lis = bs.find_all('span', {'class': "Price--priceInt--ZlsSi_M"})
    for x in lis:
        price = x.get_text()
        price_list.append(price)

def get_sales(bs):
    lis_2 = bs.find_all('span', {'class': "Price--realSales--FhTZc7U"})
    for x in lis_2:
        real_sales = x.get_text().replace('人付款', '')
        sale_list.append(real_sales)

def get