实现爬取淘宝商品信息的功能，使用 Python

跃跃欲试-迪之

于 2024-08-29 10:01:57 发布

阅读量167

点赞数 2

文章标签： python 开发语言

本文链接：https://blog.csdn.net/u011807844/article/details/141671302

版权

实现爬取淘宝商品信息的功能，可以使用 Python 的网络爬虫库如 requests、BeautifulSoup 等。以下是一个示例代码，实现爬取淘宝商品名称、价格和链接的功能：

import requests
from bs4 import BeautifulSoup

def search_taobao(keyword):
    url = f'https://s.taobao.com/search?q={keyword}'
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
    response = requests.get(url, headers=headers)
    soup = BeautifulSoup(response.text, 'html.parser')
    
    items = soup.find_all('div', class_='J_MouserOnverReq')
    
    for item in items:
        name = item.find('div', class_='JIIxO').text.strip()
        price = item.find('span', class_='JIxJg').text.strip()
        link = item.find('a', class_='ks-lazyload JIIxOLink').get('href')
        
        print('商品名称:', name)
        print('商品价格:', price)
        print('商品链接:', link)
        print('-------------------------')

if __name__ == '__main__':
    keyword = input('请输入要搜索的商品关键字：')
    search_taobao(keyword)

以上代码中，首先通过 requests.get() 方法获取搜索页面的 HTML 内容，然后使用 BeautifulSoup 进行解析。使用 soup.find_all() 方法找到搜索结果中的每个商品信息，并通过指定的 CSS 类名来获取商品名称、价格和链接。

需要注意的是，该代码只能获取到搜索结果的第一页商品信息，如果想要获取更多的结果，可以通过修改 URL 中的参数来实现。这只是一个简单的示例，实际上淘宝的页面结构会经常变动，所以需要根据实际情况进行调整。另外，爬取淘宝商品信息有可能违反淘宝的规定，建议在合法授权和使用范围内进行爬取。