2.27聚类

存储

tab+shift 查询函数解释

os.path.abspath(“相对入境名”）

转集合去重法

数据groupby与统计函数并用

.loc['test']['id']
.loc['test'.pd.IndexSlice['id',:]]  多重索引

聚类

框架：模型X算法X策略

1、lasso L1

数值类型研究哪个模型更合适

采用误差度量（平方和），因为误差越小越接近

而离散数据用准确率来描述

2.非离散数据准确采用 ppe作为准确率，

PPE10 >80%预测误差不超过10%记录占80%

3.回归（有监督）：线性回归，岭回归，lasso回归，回归树，因变量为数值型
算法：最小二乘，梯度
4.回归模型评估：
1）误差平方和 R^2 越高越好（关系强度）一般大于0.8
2)PPE(PPE10~15） 业务上做解释
abs(误差)/真实值<0.1 就准确
5.分类器：朴素贝叶斯，逻辑回归，决策树，随机森林，GBDT,XGBOOST,stacing,knn svm 因变量为分类数据
6.分类器模型评估:
准确率，
精确率（失衡数据看），

召回率（失衡数据看），
f1,
AUC,  roc曲线下面积(0.85)

7.roc曲线
调阈值–默认阈值为0.5,
X-召回tpr，y-假阳fpr
8.聚类：无监督（数据分组） rfm

综合分析法：
1标准化
2优化矩阵（给权重，主成分）
3算综合得分

聚类算法，用距离刻画样本之间的相似性，距离越近越相似，
刻画样本间的距离

欧式距离：
二者的各特征之差的和的平方的开方
曼哈顿：
两着的各特征之差的绝对值之和
闵可夫斯基

相似度，皮尔逊相关系数

两条记录的协方差除以两条记录的

sum((x-xbar)*(y-ybar)

x-1

对称数据：msc计算：混淆矩阵
smc=(b+c)/(a+b+c+d)

非对称数据（各特征权重不一样）相比上面分母去除d：
jc jc=(b+c)/(a+b+c)
运用场景：两种取值重要程度有差异，如检查，

多值型距离计算
简单匹配法

案例

方法1： 简单匹配法
d=(d-u)/d
u表示相同项数

方法二：化为二值型（one_hot)–亚元化–虚拟化

混合型距离计算