数据分析爱好者速进！Python实战京东商品比价分析-CSDN博客

本文链接：https://blog.csdn.net/Lucky15879942866/article/details/145701544

在数据驱动决策的今天，数据分析已经成为各行各业不可或缺的技能。作为数据分析爱好者，我们不仅要掌握理论知识，更要通过实战来提升自己的技能。本文将带大家进行一次Python实战，分析京东商品的价格差异，特别是自营店铺与非自营店铺之间的价格对比。

一、项目背景与目的

在电商平台上，同样的商品在不同店铺的价格可能存在差异。消费者往往希望找到性价比最高的商品。本次分析旨在通过Python爬虫技术获取京东平台上某类商品的信息，并对比自营店铺与非自营店铺的价格，为消费者提供购物参考。

二、数据获取

确定分析方向：
- 分析自营店铺与非自营店铺的价格差异。
爬取数据：
- 使用Python的requests库和BeautifulSoup库编写爬虫，从京东平台上输入搜索关键字，定向爬取该关键字商品的信息。
- 由于京东平台有反爬虫机制，需要合理设置请求间隔，避免频繁请求导致IP被封禁。
- 爬取的信息包括商品名称、价格、店铺名称、评价数量等。
数据存储：
- 将爬取的数据存储到CSV文件中，方便后续的数据处理和分析。

三、数据处理与分析

数据清洗：
- 使用Pandas库读取CSV文件，检查数据中的重复值、空值等。
- 删除重复值和空值，确保数据的准确性和完整性。
数据转换：
- 将评价数量中的“万+”转换为具体数值，方便后续分析。
- 根据店铺名称将店铺分为自营店铺、旗舰店、专营店和其他类型。
统计分析：
- 统计不同类型的店铺数量，分析各类店铺的分布情况。
- 计算各类店铺的平均价格，对比自营店铺与非自营店铺的价格差异。
可视化分析：
- 使用Matplotlib和Seaborn库绘制各类店铺数量的柱状图、百分比饼图和商品数量的条形图。
- 通过图表直观地展示各类店铺的分布情况和价格差异。

四、实战代码示例

以下是部分代码示例，展示了如何使用Python进行数据处理和分析：

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns

# 读取数据
df = pd.read_csv('jd_products.csv', encoding='gbk')

# 数据清洗
df.drop_duplicates(inplace=True)  # 删除重复值
df.dropna(inplace=True)  # 删除空值

# 数据转换
def comment_p(x):
    x = x.replace('+', '')
    if '万' in x:
        x = x.replace('万', '')
        x = float(x) * 10000
    return x

df['new_comment'] = df['comment'].apply(lambda x: comment_p(x)).astype('int')

def new_group(frame):
    new_group = []
    for i in range(len(frame)):
        if '自营' in frame.iloc[i, 4]:
            new_group.append('京东自营')
        elif '旗舰店' in frame.iloc[i, 4]:
            new_group.append('旗舰店')
        elif '专营店' in frame.iloc[i, 4]:
            new_group.append('专营店')
        else:
            new_group.append('其它')
    frame['newgroup'] = new_group

new_group(df)

# 统计分析
shop_counts = df['shopname'].nunique()  # 统计店铺数量
print(f'商品信息中共有: {shop_counts} 家店铺')

# 可视化分析
sns.set(palette="summer", font='Microsoft YaHei', font_scale=1.2)
plt.figure(figsize=(12, 8))
s_group = df.groupby('newgroup').shopname.nunique().reset_index(name='counts')
s_group.sort_values(by='counts', ascending=False, inplace=True)
sns.barplot(x='counts', y='newgroup', data=s_group)
plt.title('店铺数量', loc='left', fontsize=20)
plt.show()