数据分析实战之用户消费行为分析

数据分析的流程大致如下

一、分析目的

本次主要根据淘宝用户的行为数据，分析挖掘有价值的信息，通过数据清洗、数据分析、数据可视化、最后结合使用相关算法模型挖掘数据价值，从而为营销提供相应的数据支撑

二、数据来源

本次使用的数据来源于阿里天池：https://tianchi.aliyun.com/dataset/dataDetail?dataId=46&userId=1

数据说明如下：

字段	字段描述
user_id	用户ID
item_id	商品ID
behavior_type	行为类型
user_geohash	用户地理位置
item_category	商品类目
time	行为发生的具体时间

 三、数据清洗

1、导入相关的第三方模块

import numpy as np
import pandas as pd
import matplotlib as  mpl
from matplotlib import pyplot as plt
import seaborn as sns
import warnings
# 有时候运行代码时会有很多warning输出，像提醒新版本之类的，如果不想这些乱糟糟的输出，可以使用如下代码
warnings.filterwarnings('ignore')
# 用来显示中文标签
mpl.rcParams["font.family"] = "SimHei"
# 用来显示负号
mpl.rcParams["axes.unicode_minus"] = False

2、读入数据并查看

# 写入数据
df = pd.read_csv(r"C:\Users\shanyonggang\Desktop\培训材料\tianchi_data\tianchi_mobile_recommend_train_user.csv",sep=',')

分别查看数据的数量、数据的总体预览

# 显示前五行
df.head()
# 数据数量
df.shape
# 总体预览
df.info()

结果如下：

可以看到用户地理位置数据缺失比较严重，同时用户行为采集时间点数据有一条缺失，其数据类型后续需要转换成时间格式进行分析。

3、缺失值处理

主要是为了处理原始数据中的缺失值，对于缺失值较多的，可以直接删除其特征，缺失比较小的，可以用其他数据进行替代（如：平均值、中位数、前后值填充等，具体根据实际情况）

# 查看空值(发现其中位置信息缺失比较严重，此处将该列删除，同时时间列有一行为空)
df.isnull().sum()
# 检索时间列为空的行
df[df["time"].isnull().values==True]
# 删除地理位置列(两种方式)，主要是因为其缺省较多
# data.drop("user_geohash",axis=1)
data = df.drop(columns=["user_geohash"])
# 删除行中有空值的
data = data.dropna(axis=0,how='any')

最终处理后的数据如下：

 4、增加额外特征

此处主要是针对时间项，首先需要将时间由字符串形式转换成时间格式，另外增加日期、小时、年、月、星期等特征，具体操作如下：

# 将时间按照日期和时间点分开
data["date"] = data.time.apply(lambda x:x.split(" ")[0])
# 获取用户行为采集的时间点
data["hour"] = data.time.str[-2:]
# 日期转出时间格式
data["date"] = pd.to_datetime(data["date"])
# 时间戳转出时间格式
data["time"] = pd.to_datetime(data["time"])
# 小时转出整型格式
data["hour"] = data["hour"].astype(int)
# 获取年、月、周几（其中周一为1）
data["year"] = data.time.apply(lambda x:x.year)
data["month"] = data.time.apply(lambda x:x.month)
data["weekday"] = data.time.apply(lambda x:x.weekday()+1)

最终结果如下：

接下来我们按照时间进行排序，并重新设置索引

# 按照时间升序排序
data = data.sort_values(by="time",ascending=True)
# 删除原始索引，生成新的索引
data.reset_index(drop=True,inplace=True)

最终结果如下：

四、数据分析

上面我们对数据进行了清洗，接下来我们针对清洗好的数据进行分析，首先对下面可能用的名词进行相应的解释

1、名词解释