qq_40909212的博客

文章目录Part 1. 稳定性的直观理解Part 2. 对数ln理解Part 3. 推导PSI公式之KL散度Part 3. 推导PSI公式之KL散度之信息熵Part 1. 稳定性的直观理解在日常生活中，我们可能会看到每月电表、水表数值的变化。直观理解上的系统稳定，通常是指某项指标波动小，指标曲线几乎是一条水平的直线。此时，我们就会觉得系统运行正常稳定，很有安全感。那么在风控中我们也有群体稳定性指标（Population Stability Index，PSI）来展示模型的稳定性。如PSI反映了验证样本

文章目录原理ID3C4.5CART原理决策树是一种机器学习的方法。决策树的生成算法有ID3, C4.5和C5.0等。决策树是一种树形结构，其中每个内部节点表示一个属性上的判断，每个分支代表一个判断结果的输出，最后每个叶节点代表一种分类结果。ID3由增熵（Entropy）原理来决定那个做父节点，那个节点需要分裂。对于一组数据，熵越小说明分类结果越好。Entropy＝- sum [p(x_i) * log2(P(x_i) ]当分裂父节点时，分裂有很多选择，针对每一个选择，与分裂前的分类错误率比较，留下

文章目录贝叶斯示例用途代码贝叶斯贝叶斯原理与其他统计学推断方法截然不同，它是建立在主观判断的基础上：在我们不了解所有客观事实的情况下，同样可以先估计一个值，然后根据实际结果不断进行修正。// 统计学 比如， **已知客观存在一个袋子里5个球， 3个黑球，2个白球**，随便从里面拿出一个，问，是黑球的概率？。 这时候，立即答：3/5。*P(B|A)=P(B)P(A|B)P(A)我们把P(B)称为”先验概率”（Prior probability），即在A事件发生之前，我们对B事件概率的一个判断。

文章目录示例似然与概率问题引出求解极大似然函数示例很好的例子似然与概率概率：已知模型参数，推测实验结果。（已知硬币是标准的，那么正面朝上概率为0.5）。概率函数：P(x|θ \thetaθ) ， θ \thetaθ为模型参数已知，x为实验结果未知。似然：已知实验结果，推测模型参数。（已知正面朝上次数基本占比50%，那么推测硬币是标准的）。似然函数：P(x|θ \thetaθ) ，x为实验结果已知， θ \thetaθ为模型参数（待估计）未知。问题引出贝叶斯——在实际问题中并不都是这样幸运

文章目录推导推导1）模型假设2）建模3）似然函数4）优化目标5）求解需用到：最终参数更新公式：