机器学习特征选择:传统互信息、k-nearest neighbor互信息

目录

  1. 传统互信息
  2. Estimating Mutual Information中的的两种基于最近邻的互信息
  3. Mutual Information between Discrete and Continuous Data Sets论文中提到的互信息

1. 传统互信息

  • 已知变量 ( X , Y ) (X,Y) (X,Y)的联合概率密度

对于一个 N N N维的双变量点对 ( x i , y i ) , i = 1 , . . . N (x_i, y_i), i = 1, . . . N (xi,yi),i=1,...N,假设其是由联合概率密度为 μ ( x , y ) \mu(x,y) μ(x,y)的变量 ( X , Y ) (X,Y) (X,Y)生成的一组独立同分布的数据,由此我们可以计算得到 x , y x,y x,y各自的边缘概率密度,即, μ ( x ) = ∫ μ ( x , y ) d ( x ) \mu(x)=\int\mu(x,y)d(x) μ(x)=μ(x,y)d(x) μ ( y ) = ∫ μ ( x , y ) d ( y ) \mu(y)=\int\mu(x,y)d(y) μ(y)=μ(x,y)d(y)。由此,我们可以根据下述公式计算得到变量 ( X , Y ) (X,Y) (X,Y)的互信息 I ( X , Y ) I(X,Y) I(X,Y)
在这里插入图片描述
在解决实际问题的时候,我们通常是不知道变量 ( X , Y ) (X,Y) (X,Y)的联合概率密度的,而且,变量 X X X与变量 Y Y

  • 5
    点赞
  • 34
    收藏
    觉得还不错? 一键收藏
  • 9
    评论
评论 9
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值