python psi_换个角度理解PSI(2)——从KL散度到PSI的奇幻之旅

最新推荐文章于 2023-04-08 16:11:40 发布
最新推荐文章于 2023-04-08 16:11:40 发布
阅读量373 收藏
点赞数
文章标签： python psi
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39768645/article/details/111533548
版权
本文深入探讨了PSI（互信息）与KL散度的关系，指出PSI是对KL散度非对称性的对称度量。通过解释KL散度的非负性和非对称性，讨论了其在衡量两个概率分布差异中的作用。同时，介绍了JS散度作为解决KL散度不对称性的方法。最后，提供了Python实现KL散度和JS散度的代码示例。
摘要由CSDN通过智能技术生成

相对熵

上次我们讲到IV和PSI的公式可以用一个通用表达式表示：

并且用熵的概念简要的说明了为什么对数项可以表明信息量的大小。 对于通用公式的后半部分，没有展开来讲，今天我们这里入手，其实：

对后一项进行变换

从这部分入手，有一种更好的解释，熟悉熵家族的同学可能已经看出来了，每一项其实都是相对熵(也被称为KL散度)，PSI其实是

和

分布互相的相对熵之和。

非对称度量指标：KL散度

KL散度又称相对熵、信息散度。KL散度主要是用来衡量两个概率分布之间的差异。

假设

和

是关于

的两个概率分布，则

对

的KL散度为

KL散度具有以下性质KL散度具有非对称性，KL散度尽管被用来度量两个分布的相似度或者说距离ÿ

最低0.47元/天 解锁文章
weixin_39768645
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python 量子计算教程之Psi4 中的谐波分析
code2day的博客
01-24 224
所以我们的计划是优化分子的几何形状，一旦我们达到最小状态，我们就想返回那个波函数并对分子进行谐波分析以获得振动模式。Whew 听起来很多，所以让我们分解一下，首先让我们按照您可以在我之前的博客中找到的方式进行一些初始配置。您至少可以在此处的输出中看到苯的一些特征频率，这些频率可能类似于 Brian 在他的书中对苯的 Smith IR。但是，您可以看到一些带有i的频率，表示虚数。现在我们想从 psi4 运行 OPTKING 并返回分子上的波函数，我们将再次在 hartree-fock 级别进行优化。
PSI和KL散度及IV值
Mark_Australia的博客
03-23 1073
PSI和KL散度及IV值
python psi指标
聊伟的博客
08-23 6121
def Cal_Psi(score,pre_score,length=10): import math labels=['c'+str(i) for i in range(length)] True_out,bins=pd.qcut(score,q=length,retbins=True,labels=labels) bins[0] = bins[0]-0.001...
Python一些可能用的到的函数系列78 计算PSI
yukai08008的博客
10-30 1722
说明 PSI用于度量两个分布之间的差异，主要用于检查客群的变化/模型的稳定性。本质上也就是某种交叉熵。 内容 以这个帖子中的数据为例，贡献两个小函数 函数1 # 将一列转为百分比 import numpy as np def transform_list2pct(some_list): arr1 = np.array(some_list) return arr1 / arr1.sum() 函数2 # 计算两次分布的PSI (<0.1 ok, <0.25 review, e
PSI群体稳定指数-Python实现
u010654299的博客
12-26 9023
PSI群体稳定指数-Python实现PSI群体稳定指数Python 实现 PSI群体稳定指数 群体稳定性指标(population stability index PSI)用于衡量测试样本和建模样本分数间数据分布差异性，是模型稳定性的常见指标。公式如下所示： 其中，bins是分箱数量，Actual是实际占比，Expected是预期占比。 PSI小于0.1模型稳定性较高，0.1至0.2之间稳定性一般...
kldiv.zip_KL散度_kl 散度_kl-div_kl散度计算_散度
07-14
在这个公式中，P和Q代表两个概率分布，而\(D_{KL}(P||Q)\)表示从分布Q到分布P的散度。散度值是非负的，只有当P和Q完全相同时，其值才为零。 在实际应用中，KL散度有以下特点： 1. 非对称性：KL散度是P相对于Q的散度...
kldistancehs.rar_KL_MATLAB KL散度_kldistancehs.rar_matlabKL散度_评价
07-15
2. **计算KL散度**：使用MATLAB内置函数或自定义函数计算这两个分布的KL散度。MATLAB可能使用`kldiv`函数或者自定义的循环结构来实现。 3. **效果评价**：根据计算出的KL散度值，评估模型的性能。如果模型预测的...
KL_nmf.rar_KL_KL散度_NMF收敛性_kl 散度_散度算法
07-14
基于KL散度的NMF算法的实现，收敛性证明可以参考：Lee D D, Seung H S. Algorithms for Non-negative Matrix Factorization[C]// NIPS. 2000:556--562.
kl.zip_KL散度 多大_kl 散度_交叉熵_分布熵_相对熵KL
07-13
计算kl散度，信息熵，是随机变量或整个系统的不确定性。熵越大，随机变量或系统的不确定性就越大。 相对熵，用来衡量两个取值为正的函数或概率分布之间的差异。 交叉熵，用来衡量在给定的真实分布下，使用非真实分布...
04.02_02_多维高斯分布的KL散度.pdf
09-18
2. clustering：KL散度可以用来衡量两个聚类结果之间的差异，从而对聚类结果进行评估。 3. Dimensionality Reduction：KL散度可以用来衡量降维结果的 goodnes of fit。 4. Anomaly Detection：KL散度可以用来检测...
python 字段计算代码
08-24
python 字段计算代码，在python环境下对shp文件属性表字段进行赋值。
sas psi计算公式
05-14
利用sas计算ks,本代码适用于mb建模，然后导出后bining文件后，基于scorecard对ks进行计算。
python风控建模实战lendingClub
09-14
针对消费金融，现金贷等线上贷款场景，教会学员如何运用python+catboost+lightgbm等算法建立风控模型。实操项目包括(1)美国金融科技公司lendingClub 12万真实数据（分类器模型）(2)移动杯模型竞赛：消费者人群画像-信用智能评分模型竞赛（回归模型）。   讲师：Toby，持牌照消费金融模型专家，发明金融模型算法专利，和中科院，清华大学，百度，腾讯，同盾，聚信立等平台保持长期项目合作；与国内多所财经大学有模型项目。熟悉金融风控和企业信用评级业务，包括现金贷，商品贷，医美，反欺诈等。擅长Python机器学习建模，对变量筛选，衍生变量构造，变量缺失率高，正负样本不平衡，共线性高，多算法比较，调参等有良好解决方法。原创公众号（python风控模型） kaggle模型竞赛大杀器 smote非平衡数据处理
风控ML[13] | 特征稳定性指标PSI的原理与代码分享
Pysamlam的博客
02-13 4148
PSI这个指标我们在风控建模前后都是需要密切关注的，这个指标直接反映了模型的稳定性，对于我们评估模型是否需要迭代有着直接的参考意义。今天我将从下面几方面来介绍一下这个指标。Index01 ...
小白如何写Python算法-计算模型稳定性评估指标PSI
孟凡霄
01-16 2163
前言 最近在研究如何存储和查询十亿数据的事情突然插了一档子事公司让我临时救个????python算法需求比较多 人手紧缺让我来弄个算法需求计算PSI我一听懵逼了 啥是PSI临危受命 不行也得上啊 PSI知识储备 简介 PSI反映了验证样本在各分数段的分布与建模样本分布的稳定性在建模中，我们常用来筛选特征变量、评估模型稳定性稳定性是有参照的因此需要有两个分布——实际分布（actual）和预期分布（expected）在建模时通常以训练样本（In the Samp
模型稳定性指标—PSI
阿黎逸阳的博客
04-08 2737
模型稳定性指标PSI理解与实现
Python 化学教程之使用 Psi4 和 Python 可视化前沿轨道
code2day的博客
01-24 351
现在，我们得到 psi4 来生成那些以 a 形式出现的轨道文件，cube我们还需要电子密度来生成电子云。我们传入我们的初始配置和 psi4 要执行的任务，这意味着我们要生成密度形式的云。我们传入我们想要生成的轨道，然后cubeprop启动文件的生成。为此，让我们回到我们的 psi4 甲醇 z 矩阵，如上一篇博文中所见。所以我们需要两件事，α 电子的数量和分子轨道的数量，因为我们需要确定哪些轨道是 HOMO/LUMO 对。我们希望它返回波函数，我们将使用它来获得我们的 HOMO/LUMO。
机器学习之十四：相对熵（KL散度）和交叉熵
蓬莱道人的博客
04-11 1742
1、熵的定义     在讲解决策树的博文中曾经提到过熵的定义，熵是表示随机变量不确定性的度量，熵越大，则随机变量的不确定性越大。设X是一个离散随机变量，X的概率分布为： P(X=xi)=pi,i=1,2,3...,n P(X=x_i)=p_i,i=1,2,3...,n 则随机变量X的熵定义为： H(X)=−∑i=1npilogpi H(X)=-\sum _{i=1}^n p_ilog\,p
python (PSI)模型分和特征稳定性评估指标
weixin_44116269的博客
11-26 9311
@[TOC](python (PSI)模型分和特征稳定性评估指标) 由于模型是以特定时期的样本所开发的，此模型是否适用于开发样本之外的族群，必须经过稳定性测试才能得知。稳定度指标(population stability index ,PSI)可衡量测试样本及模型开发样本评分的的分布差异，为最常见的模型稳定度评估指针。其实PSI表示的就是按分数分档后，针对不同样本，或者不同时间的样本，popula...
kl散度 python
最新发布
05-29
KL散度（Kullback-Leibler divergence）是用来衡量两个概率分布之间的差异的一个指标。在信息论、机器学习等领域中有着广泛应用。KL散度通常用于比较两个概率分布P(x)和Q(x)之间的差异程度，如果P和Q越接近，KL散度...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值