数据准备步骤
-
数据收集:收集所需要的数据特征。(eg:为用户划分消费能力等级,包括但不限于消费金额:用户在过去一段时间内的总消费金额或者平均消费金额。消费频率:用户在一定时期内消费的次数。最近一次消费时间:用户最近一次购买商品的时间距离现在的时间间隔。消费类别偏好:用户购买的产品或服务的种类分布,可以通过一个向量表示各个类别的消费比例单次消费金额:用户每次消费的平均金额。消费地点:用户购买商品或服务的位置信息,如果适用的话购买时间段:用户倾向于在一天中的哪个时段购物。会员等级:如果有的话,用户的会员级别可以反映其忠诚度和潜在消费能力。用户生命周期价值 (LTV):用户在未来一段时间内预期产生的总收入。)
- 数据预处理:
- 缺失值处理:检查数据集中是否存在缺失值,并采取适当的方法填补或删除。
- 异常值检测:检测并处理异常值,因为异常值可能会对聚类结果产生较大影响。
- 特征缩放:由于不同的特征可能具有不同的量纲和范围,需要对数据进行标准化或归一化处理,以避免某些特征因数值较大而主导聚类结果。
- 特征选择:根据业务需求和数据实际情况,选择最能体现消费能力差异的特征。
- 模型训练:应用K-means算法进行训练,并确定最优的聚类数量。
补充:肘部法则
肘部法则是一种用于确定在k均值聚类算法中使用的质心数(k)的技术。 在这种方法中,为了确定k值,我们连续迭代k=1到k=n(这里n是我们根据要求选择的超参数)。对于k的每个值,我们计算簇内平方和(WCSS)值。即片段中的inertias
import pandas as pd
from sklearn.preprocessing import StandardScaler
from sklearn.cluster import KMeans
import matplotlib.pyplot as plt
# 假设你的数据已经存储在一个CSV文件中
data = pd.read_csv('customer_data.csv')
# 选择用于聚类的特征
features=['consumption_amount','frequency','last_purchase_date','average_transaction_value']
# 数据预处理
X = data[features]
scaler = StandardScaler() # 创建StandardScaler实例
X_scaled = scaler.fit_transform(X) # 对数据进行标准化处理
# 使用肘部法则确定最佳聚类数量
inertias = []
for k in range(1, 11):
kmeans = KMeans(n_clusters=k)
kmeans.fit(X_scaled)
inertias.append(kmeans.inertia_)#将当前聚类配置下的惯性值添加到inertias列表中。
plt.plot(range(1, 11), inertias, marker='o')
plt.xlabel('Number of Clusters')
plt.ylabel('Inertia')
plt.title('Elbow Method')
plt.show()
# 假设我们发现4个簇是最优的
optimal_k = 4
kmeans = KMeans(n_clusters=optimal_k)
kmeans.fit(X_scaled)
# 获取聚类标签
labels = kmeans.labels_
# 添加聚类标签到原始数据中(将K-means聚类后得到的聚类标签添加到原始数据data中作为一个新的列。)
data['cluster'] = labels
# 输出结果
print(data.groupby('cluster').mean())