weixin_41851055的博客

机器学习算法的基础知识1、评估指标2、偏差与方差（过拟合与欠拟合）3、正则化（解决过拟合）4、梯度下降算法（算法优化方式）5、数据不平衡1、评估指标 预测值 0 1 实际 0 TN FP 1 FN TP accuracy=TN+TPTN+TP+FP+FNaccuracy = \frac{TN+TP}{TN+TP+FP+FN}a

算法建模前言建模的一般流程代码实现（以逻辑回归为例，重在解释流程）导入相关模块数据清洗及降维woe编码（好处不需要填充缺失值不需要数据标准化）检验多重共线性（在这步之后决定样本不平衡怎么处理）模型训练（观察没通过假设性检验的变量）评估指标（以AUC和KS为例）保存模型读取模型并在样本上打分前言每个算法工程师都有自己建模的习惯，因此在建模流程上会有所不同。本文主要介绍了一般的建模流程，有些步骤的先后顺序可能会有所差异，具体还需结合自己的实际相结合。建模的一般流程1.明确需求，确定y： 这是建模第一步需

数据监控SHAP值SHAP值SHAP值基于Shapley值，Shapley值是博弈论中的一个概念。SHAP所做的是量化每个特征对模型所做预测的贡献。对于所有的特征上图可以自由组合共有2^3=8种可能（数学中称为power set即幂集）。SHAP需要为幂集中的每个不同的组合训练一个不同的预测模型，这意味着有8个模型。当然，这些模型在涉及到它们的超参数和训练数据时是完全等价的。唯一改变的是模型中包含的一组特征。假设上图是已经用相同训练样本训练了8个线性回归的模型。我们可以用这8个模型分别对一个测试样