实现目标:
1)构建零售商品的Apriori关联规则模型,分析商品之间的关联性
2)根据模型结果给出销售策略
目录
1. 数据
链接:https://pan.baidu.com/s/15dtFSdwCzszKb_4nouZVvw?pwd=1234
提取码:1234
2.代码
2.1 数据特征
#探索数据的特征,查看每列属性,最大值,最小值是了解数据的第一步。
import numpy as np
import pandas as pd
#输入的数据文件
inputfile = './data/GoodsOrder.csv'
#读取数据
data = pd.read_csv(inputfile,encoding='gbk')
# print(data)
#查看数据属性
data.info()
data = data['id']
# 依次计算总数、最小值、最大值
description = [data.count(),data.min(),data.max()]
#将数据存入数据框
description = pd.DataFrame(description,index=['count','Min','Max']).T
#输出结果
# print('描述性统计结果:\n',np.around(description))
2.2 分析热销商品
import pandas as pd
import matplotlib.pyplot as plt
#销售排行前10商品的销售及其占比
#输入的数据文件
inputfile = './data/GoodsOrder.csv'
#读取数据
data = pd.read_csv(inputfile,encoding='gbk')
#对商品进行分类汇总
group = data.groupby(['Goods']).count().reset_index()
sorted = group.sort_values('id',ascending=False)
#排序并查看前10位热销商品
print('销售排行前10位商品的销量:\n',sorted[:10])
#画条形图展示出销量排行前10商品的销量
x = sorted[:10]['Goods']
y = sorted[:10]['id']
#设置画布大小
plt.figure(figsize=(8,4))
plt.barh(x,y)
plt.rcParams['font.sans-serif'] = 'SimHei'
#设置x轴标题
plt.xlabel('销量')
#设置y轴标题
plt.ylabel('商品类别')
#设置标题
plt.title('商品的销量TOP10')
#把图片以.png格式保存
plt.savefig('./result/top10.png')
#展示图片
plt.show()
#销量排行前10商品的销量占比
data_nums = data.shape[0]
for index, row in sorted[:10].iterrows():
print(row['Goods'], row['id'], row['id']/data_nums)
2.3 分析商品结构
import pandas as pd
import matplotlib.pyplot as plt
inputfile1 = './data/GoodsOrder.csv'
inputfile2 = './data/GoodsTypes.csv'
#读入数据
data = pd.read_csv(inputfile1,encoding='gbk')
types = pd.read_csv(inputfile2,encoding='gbk')
group = data.groupby(['Goods']).count().reset_index()
sort = group.sort_values('id',ascending=False).reset_index()
#总量
data_nums = data.shape[0]
del sort['index']
#合并两个dataframe,根据type
sort_links = pd.merge(sort, types)
#根据列别求和,每个商品类别的总亮,并排序
sort_link = sort_links.groupby(['Types']).sum().reset_index()
sort_link = sort_link.sort_values('id',ascending=False).reset_index()
#删除'index'列
del sort_link['index']
print(sort_links)
#求百分比,然后更换列名,最后输出到文件
sort_link['count'] = sort_link.apply(lambda line:line['id']/data_nums, axis=1)
print(sort_link)
sort_link.rename(columns = {'count':'percent'},inplace=True)
print('各类别商品的销量及其占比:\n',sort_link)
outfile1 = './result/percent.csv'
#保存结果
sort_link.to_csv(outfile1,index = False, header = True, encoding = 'gbk')
#画饼图展示出每类商品销量占比
text = sort_link['percent']
labels = sort_link['Types']
#设置画布大小
plt.figure(figsize=(8,6))
plt.pie(text,labels = labels, autopct='%1.2f%%')
plt.rcParams['font.sans-serif'] = 'SimHei'
#设置标题
plt.title('每类商品销量占比')
#把图片以.png格式保存
plt.savefig('./result/persent.png')
plt.show()
2.4 非酒精饮料内部商品的销量及其占比
import pandas as pd
import matplotlib.pyplot as plt
inputfile1 = './data/GoodsOrder.csv'
inputfile2 = './data/GoodsTypes.csv'
#读入数据
data = pd.read_csv(inputfile1,encoding='gbk')
types = pd.read_csv(inputfile2,encoding='gbk')
group = data.groupby(['Goods']).count().reset_index()
sort = group.sort_values('id',ascending=False).reset_index()
#总量
data_nums = data.shape[0]
del sort['index']
#合并两个dataframe,根据type
sort_links = pd.merge(sort, types)
#根据列别求和,每个商品类别的总亮,并排序
sort_link = sort_links.groupby(['Types']).sum().reset_index()
sort_link = sort_link.sort_values('id',ascending=False).reset_index()
#删除'index'列
del sort_link['index']
#求百分比,然后更换列名,最后输出到文件
sort_link['count'] = sort_link.apply(lambda line:line['id']/data_nums, axis=1)
sort_link.rename(columns = {'count':'percent'},inplace=True)
# 非酒精饮料内部商品的销量及其占比
#先筛选“非酒精饮料”类型的商品,然后求百分比,然后输出结果到文件
#挑选商品类别
selected = sort_links.loc[sort_links['Types'] == '非酒精饮料']
#对所有的“非酒精饮料”求和
child_nums = selected['id'].sum()
selected['child_percent'] = selected.apply(lambda line: line['id']/child_nums,axis=1)
selected.rename(columns = {'id':'count'},inplace=True)
print('非酒精饮料内部商品的销量及其占比:\n',selected)
outfile2 = './result/child_percent.csv'
#输出结果
sort_link.to_csv(outfile2,index = False,header = True, encoding = 'gbk')
#画饼图展示出非酒精饮料内部商品的销量及其占比
text = selected['child_percent']
labels = selected['Goods']
#设置画布大小
plt.figure(figsize=(8,6))
#设置每一块分割出的间隙大小
explode = (0.02,0.03,0.04,0.05,0.06,0.07,0.08,0.08,0.3,0.1,0.3)
plt.pie(text, explode=explode, labels = labels, autopct='%1.2f%%')
plt.rcParams['font.sans-serif'] = 'SimHei'
#设置标题
plt.title('非酒精饮料内部商品的销量及其占比')
plt.axis('equal')
#把图片以.png格式保存
plt.savefig('./result/child_persent.png')
plt.show()
2.5 数据预处理
import pandas as pd
#输入的数据文件
inputfile = './data/GoodsOrder.csv'
#读取数据
data = pd.read_csv(inputfile,encoding='gbk')
#根据id对“Goods"列合并,并使用','将各商品隔开
data['Goods'] = data['Goods'].apply(lambda x:','+ x)
data = data.groupby('id').sum().reset_index()
#对合并的商品列转换数据格式
data['Goods'] = data['Goods'].apply(lambda x:[x[1:]])
data_list = list(data['Goods'])
#分割商品名为每个元素
data_translation = []
for i in data_list:
p = i[0].split(',')
data_translation.append(p)
print('数据转换结果的前5个元素:\n',data_translation[0:5])
2.6 模型构建与关联
import pandas as pd
from mlxtend.preprocessing import TransactionEncoder
from mlxtend.frequent_patterns import apriori
#导入关联规则包
from mlxtend.frequent_patterns import association_rules
#数据转换
inputfile = './data/GoodsOrder.csv'
data = pd.read_csv(inputfile, encoding='gbk')
#根据id对”Goods“列合并,并使用”,“将各商品隔开
data['Goods'] = data['Goods'].apply(lambda x:','+x)
data = data.groupby('id').sum().reset_index()
#对合并的商品列转换数据格式
data['Goods'] = data['Goods'].apply(lambda x:[x[1:]])
data_list = list(data['Goods'])
#分割商品名为每个元素
data_translation = []
for i in data_list:
p = i[0].split(',')
data_translation.append(p)
print('数据转换结果的前5个元素:\n',data_translation[0:5])
#使用关联分析进行关联
te = TransactionEncoder()
#进行one-hot编码
te_ary = te.fit(data_translation).transform(data_translation)
print(type(te_ary))
df = pd.DataFrame(te_ary, columns=te.columns_)
#利用apriori找出频繁项集
freq = apriori(df, min_support=0.02, use_colnames = True)
#计算关联规则
result = association_rules(freq, metric = 'confidence', min_threshold=0.35)
#排序
result.sort_values(by='confidence',ascending=False,axis=0)
print(result)
result.to_csv("./result/result.csv")
3. 补充
下载mlxtend包
pip install mlxtend --user -i https://pypi.tuna.tsinghua.edu.cn/simple