python爬虫爬取淘宝商品的销量

最新推荐文章于 2024-07-25 19:59:32 发布

段小胖

最新推荐文章于 2024-07-25 19:59:32 发布

阅读量1.7w

点赞数 5

本文链接：https://blog.csdn.net/dxcve/article/details/81669521

版权

本文介绍如何利用Python爬虫技术抓取淘宝网站上的商品销量数据，通过实例解析爬虫实现过程，包括数据获取、解析及可能遇到的问题解决策略。

摘要由CSDN通过智能技术生成

代码使用过程中如果有任何问题，下方留言，我会及时解释回答；

import re
import requests
import json
def openurl(keyword,page):
    params = {'q':keyword,'sort':'sale-desc','s':str(page*44)} 字典中第二项是按销量排序
    headers = {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36'}
    url = "https://s.taobao.com/search"
    res = requests.get(url,params=params, headers=headers)
    return res
def get_items(res):
    g_page = re.search(r'g_page_config = (.*?);\n', res.text)
    g_page_json = json.loads(g_page.group(1))
    p_items = g_page_json['mods']['itemlist']['data']['auctions']
    result = []
    for each in p_items:
        dict_items = dict.fromkeys(('title','raw_title','view_price','view_sales','comment_count&