数据分析进阶 - 基于聚类的用户标签构建

前言

在用户画像标签体系建设的过程中，大部分标签都是以规则映射的方式构建，当规则难以梳理时，可以考虑用聚类模型进行划分，再用决策树的方式输出规则，这里仅简单分享，欢迎交流~

示例

确定目的

对用户消费行为进行划分客群（这里不使用RFM模型）

特征选择

• 当月各消费区间消费频次
• 当月消费均值
• 当月消费方差
• 当月日消费频次
• 其他

预估聚类趋势

预估聚类趋势使用的霍普金斯统计量，这里不再赘述， 可直接参考之前的博客：https://blog.csdn.net/Totoro1745/article/details/112132472

聚类（仅以K-means示例）

import pandas as pd
import matplotlib.pyplot as plt

data = pd.read_csv("data.csv")
SSE = []
SCORE = []
for i in range(2, 10):
	est = KMeans(n_clusters=i)
    est.fit(var_raw)
    sse_value = est.inertia_
    SSE.append(sse_value)
    score_value = silhouette_score(raw, est.labels_, metric='euclidean')
    SCORE.append(score_value)
    print(i, time.strftime('%H:%M:%S', time.localtime()), sse_value, score_value)

手肘法确定聚类个数

x = range(2, 10) 
plt.xlabel('k')
plt.ylabel('SSE')
plt.plot(x, SSE, 'o-')
plt.show()

# 确定后以该聚类个数保存模型

基于决策树梳理规则并定义标签

from sklearn.cross_validation import train_test_split
from sklearn.tree import DecisionTreeClassifier
import pydotplus
from sklearn import tree
from IPython.display import Image
import graphviz
from sklearn.metrics import classification_report, roc_auc_score
import os
os.environ["PATH"] += os.pathsep + 'D:/Python35/graphviz/bin'

data = pd.re_csv("result.csv")
x = data[data.columns[:-1]]
y = data[data.columns[-1]]

x_train, x_test, y_train, y_test = train_test_split(x, y, test_size = 0.3)

clf = DecisionTreeClassifier(max_depth=3)
clf = clf.fit(x_train, y_train)

# 训练效果   
y_pre_train = clf.predict(x_train)
y_score_train = clf.predict_proba(x_train)
print(classification_report(y_true=y_train, y_pred=y_pre_train))

# 测试效果
y_pre = clf.predict(x_test)
y_score = clf.predict_proba(x_test)
print(classification_report(y_true=y_test, y_pred=y_pre))

# 以四个类为例
with open('tree.dot','w') as f:
    f = tree.export_graphviz(clf, out_file=f)
dot_data = tree.export_graphviz(clf, feature_names=x_train.columns, class_names=["A", "B", "C", "D"], 
                                    filled=True, rounded=True, special_characters=True, out_file='tree.dot')    
                                                               
with open("tree.dot") as f:
    dot_graph = f.read()
graph = pydotplus.graph_from_dot_data(dot_graph)
print(graph)
graph.write_png("model.png")