Python + selenium 爬取淘宝网(销量,店铺名,价格等)

import time
from selenium import webdriver
from lxml import etree


def Run(keywords, numPage):
    # 构造无头的ChromeDriver
    option = webdriver.ChromeOptions()
    option.add_argument('headless')
    driver = webdriver.Chrome(executable_path='D:\\Project\\Pycharm\\Driver\\chromedriver.exe', chrome_options=option)
    # 存放数据
    list = []

    for i in range(numPage):
        url = 'https://uland.taobao.com/sem/tbsearch?refpid=mm_26632258_3504122_32538762&keyword=' + keywords + '&clk1=4ccf3c1994a6f9cc579ec534e8b1bec2&upsId=4ccf3c1994a6f9cc579ec534e8b1bec2&spm=a2e0b.20350158.31919782.1&pid=mm_26632258_3504122_32538762&union_lens=recoveryid%3A201_11.27.9.205_6368855_1626600603206%3Bprepvid%3A201_11.175.82.69_6378466_1626601143040&pnum=' + str(i)
        # ChromeDriver访问指定URL
        driver.get(url)
        # 等待ChromeDriver打开URL页面
        time.sleep(3)
        # ChromeDriver解析指定URL页面
        html = driver.page_source
        # 构造etree
        e = etree.HTML(html)
        for j in range(1, 61):
            productName = e.xpath('/html/body/div[2]/div[1]/div[2]/ul/li[' + str(j) + ']/a/div[1]/span/text()')
            salesVolume = e.xpath('/html/body/div[2]/div[1]/div[2]/ul/li[' + str(j) + ']/a/div[4]/div[2]/text()')
            shopName = e.xpath('/html/body/div[2]/div[1]/div[2]/ul/li[' + str(j) + ']/a/div[3]/div/text()')
            price = e.xpath('/html/body/div[2]/div[1]/div[2]/ul/li[' + str(j) + ']/a/div[2]/span[2]/text()')
            list_tmp = shopName[0], productName[0], price[0], salesVolume[0]
            list.append(list_tmp)
    return list


if __name__ == '__main__':
    # 搜索的关键词
    keywords = "遮阳伞女"
    # 设置翻页数量
    numPage = 2
    data = Run(keywords, numPage)
    for i in range(len(data)):
        print(data[i])

默认你的selenium已经适配好ChromeDriver了

内容格式如下:

  • 0
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值