爬取京东淘宝商品销量并可视化处理数据

目的:获取京东和淘宝的同一种手机型号的销量信息,获取三组,对比销量,并将数据可视化处理。

一、京东销量获取

如下面的例子:

京东销量:
data-sku:对应下一个页面的productId
defaultGoodCount:代表销量
commentCount评论数==总销量
fetchJSON_comment98({
	"productAttr": null,
	"productCommentSummary": {
		"skuId": 100011336064,
		"defaultGoodCount": 133870,
		"defaultGoodCountStr": "13万+",
		"commentCount": 193409,
		"commentCountStr": "19万+",
		"goodCount": 55121,
		"goodCountStr": "5.5万+",
	},

 怎么找到上面的信息呢?就拿荣耀V30手机来讲。

打开开发者工具,点击商品评价,会出现一大堆数据,我们选择JS,然后选择productPageComments.action

OK,在请求头中就能看到我们想要的链接。然后利用正则表达式提取我们想要的信息即可。

 

 

二、淘宝销量获取

如下面的例子:

淘宝销量:
1、view_sales
2、setMdskip
	({
		"defaultModel": {
			"sellCountDO": {
				"sellCount": "1.5万+",
				"success": true
			}
		}			
	})
3、comment_count评论数==总销量(我们采用这种方法)

那么怎么获取我们想要的信息呢?我们输入商品后,选择销量排序,会得到这样的一个链接

"https://s.taobao.com/search?q=" + "商品名称" + "&sort=sale-desc"

右键查看源代码,即可找到我们想到的信息,即“comment_count”,OK,这样不就好办了吗?直接正则表达式提取即可!

三、代码:

import requests
import re
import csv
from matplotlib import pyplot as plt
import matplotlib as mpl
import numpy as np
list = []  # 列表用来存放商品信息

# 构造淘宝请求头
kv = {
    "user-agent":
        "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.186 Safari/537.36",
    "Cookie":
        ''
}
# 京东请求头
jd = {
    "user-agent":
        "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36"
}

# 获取淘宝HTML页面
def getHTMLpages(url):
    try:
        r = requests.get(url, headers=kv, timeout=30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ""

# 获取京东HTML页面
def getHTMLpages_JD(url):
    try:
        r = requests.get(url, headers=jd)
        # print(r.status_code) # 打印状态码,若为200则正常
        page_connent = r.content.decode('gbk')  # 设置内容编码格式为gbk
        return page_connent
    except:
        return "异常"


# 将淘宝商品信息存入列表
def getGoodsinfo(list, html, flag):
    if flag == 0:
        tit = "荣耀v30手机"
    elif flag == 1:
        tit = "小米10手机"
    else:
        tit = "vivoS6手机"
    sales = re.findall(r'\"comment_count\"\:\"[\d]*?\"', html)  # 正则表达式查找总销量
    sal = eval(sales[0].split(':')[1])  # eval去掉引号,split(":")[1]表示":"后面的内容
    list.append([tit, "淘宝", sal])  # 将信息存进列表
    return list


# 将京东商品信息存入列表
def getGoodsinfo_JD(list, html_jd, flag):
    if flag == 0:
        tit = "荣耀v30手机"
    elif flag == 1:
        tit = "小米10手机"
    else:
        tit = "vivoS6手机"
    sales = re.findall(r'\"commentCount\"\:[\d]*', html_jd)  # 正则表达式查找总销量
    sal = eval(sales[0].split(':')[1])
    list.append([tit, "京东", sal])


# 从列表中读取商品信息
def printGoodsinfo(list):
    form = "{:<10}\t\t{:<10}\t{:<8}"
    print(form.format("手机型号", "销售平台", "商品销量", chr(12288)))
    for i in list:  # i代表一行
        print(form.format(i[0], i[1], i[2], chr(12288)))


# 保存数据为csv文件
def saveData(list):
    try:
        # 创建文件对象
        f=open('D:\\GoodsInfo.csv','w',newline='',encoding='gbk')
        # newline=''是为了去掉每条数据下面的空行
        # 基于文件对象构建csv写入对象
        csv_writer = csv.writer(f)
        # 构建列表头
        csv_writer.writerow(["手机型号", "销售平台", "商品销量"])
        # 写入csv文件内容
        for i in range(len(list)):
            csv_writer.writerow(list[i])
        f.close()
        print("保存成功!文件为D盘下的GoodsInfo.csv")
    except:
        print("保存失败!")

# 根据csv文件绘图
def drawData(list):
    fig, ax = plt.subplots()  # 新建一个fig和axes对象
    mpl.rcParams["font.sans-serif"] = ["SimHei"]  # 设置字体
    mpl.rcParams["axes.unicode_minus"] = False
    x = np.arange(3)  # x轴下标数量
    count_taobao = []  # 构造列表淘宝销量
    count_jd = []  # 京东销量
    for i in range(len(list)):
        if (i % 2 == 0):  # 下标0、2、4为淘宝销量
            count_taobao.append(int(list[i][2]))
        else:  # 下标1、3、5为京东销量
            count_jd.append(list[i][2])
    bar_width = 0.35  # 柱条宽度
    tick_label = ["荣耀V30手机", "小米10手机", "vivoS6手机"]  # x轴坐标
    plt.bar(
        x,
        count_taobao,
        bar_width,
        align="center",
        color="c",
        label="淘宝平台",
        alpha=0.5)  # alpha表透明度
    plt.bar(
        x + bar_width,
        count_jd,
        bar_width,
        color="b",
        align="center",
        label="京东平台",
        alpha=0.5)
    plt.xlabel("手机型号")
    plt.ylabel("平台销量")
    ax.set_title("三种型号手机在京东和淘宝销量对比图")  # 设置标题
    plt.xticks(x + bar_width / 2, tick_label)  # 实现并列效果
    plt.legend()  # 显示图例
    plt.savefig('D:\\drawData.png')  # 保存图片
    plt.show()  # 将图片显示出来


if __name__ == "__main__":

    print("该程序将自动分别爬取华为荣耀V30、小米10和vivoS6手机在淘宝和京东的销量")
    print("程序即将开始执行......")
    
    print("开始爬取华为荣耀V30在淘宝的销量数据...")
    # 此链接为按照销量排序的链接
    start_url_taobao = "https://s.taobao.com/search?q=" + "荣耀v30" + "&sort=sale-desc"
    html = getHTMLpages(start_url_taobao)
    getGoodsinfo(list, html, 0)

    print("开始爬取华为荣耀V30在京东的销量数据...")
    start_url_jd = "https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=100010260230&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0&fold=1"
    html_jd = getHTMLpages_JD(start_url_jd)
    # print(html_jd)
    getGoodsinfo_JD(list, html_jd, 0)

    print("开始爬取小米10在淘宝的销量数据...")
    start_url_taobao = "https://s.taobao.com/search?q=" + "小米10手机" + "&sort=sale-desc"
    html = getHTMLpages(start_url_taobao)
    getGoodsinfo(list, html, 1)

    print("开始爬取小米10在京东的销量数据...")
    start_url_jd = "https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=100011336064&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0&fold=1"
    html_jd = getHTMLpages_JD(start_url_jd)
    getGoodsinfo_JD(list, html_jd, 1)

    print("开始爬取vivoS6在淘宝的销量数据...")
    start_url_taobao = "https://s.taobao.com/search?q=" + "vivoS6" + "&sort=sale-desc"
    html = getHTMLpages(start_url_taobao)
    getGoodsinfo(list, html, 2)

    print("开始爬取vivoS6在京东的销量数据...")
    start_url_jd = "https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=100011924580&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0&fold=1"
    html_jd = getHTMLpages_JD(start_url_jd)
    getGoodsinfo_JD(list, html_jd, 2)
    print("爬取完毕!结果如下:")
    printGoodsinfo(list)
    print("现在将数据存入CSV文件中...")
    saveData(list)
    print("现在将数据可视化展示出来:")
    drawData(list)
    print("图片保存位置为D盘的drawData.png")

 

©️2020 CSDN 皮肤主题: 技术黑板 设计师: CSDN官方博客 返回首页
实付0元
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值