EDA365欢迎您登录！
您需要 登录 才可以下载或查看，没有帐号？注册
x
3 K1 ~ W3 V6 w6 h' w) B1 I. C$ X在概率论和信息论中，两个随机变量的互信息(Mutual Information，简称MI)或转移信息(transinformation)是变量间相互依赖性的量度。不同于相关系数，互信息并不局限于实值随机变量，它更加一般且决定着联合分布 p(X,Y) 和分解的边缘分布的乘积 p(X)p(Y) 的相似程度。互信息(Mutual Information)是度量两个事件集合之间的相关性(mutual dependence)。互信息最常用的单位是bit。8 T+ c4 X% ^2 x& d( P4 E
" y) O( X# F# ~互信息的定义
: Y) Y. _+ Z6 x1 ]5 S3 B正式地，两个离散随机变量 X 和 Y 的互信息可以定义为：4 v( a2 N+ Y( I' x V7 k; c/ X. C9 p. V
8 K2 q/ i) o6 W8 O& r8 p9 |# M* C其中 p(x,y) 是 X 和 Y 的联合概率分布函数，而p(x)和p(y)分别是 X 和 Y 的边缘概率分布函数。
' ?( m: Z# c: p
/ b7 X4 P# k+ ~ p5 G$ P
1.png (9.48 KB, 下载次数: 0)
2020-11-4 13:41 上传
T+ F" [( }( o @5 \- |+ q8 C
( n/ E+ X; P6 C, j" P' v在连续随机变量的情形下，求和被替换成了二重定积分：) q6 d) q) I. D+ d2 b7 C
) A: \! e$ }7 c7 U' X* N
2.png (9.71 KB, 下载次数: 0)
2020-11-4 13:41 上传
$ O6 |" x2 N) [; g) U! F( c v [2 i3 P
其中 p(x,y) 当前是 X 和 Y 的联合概率密度函数，而p(x)和p(y)分别是 X 和 Y 的边缘概率密度函数。8 i! w i2 J1 _9 U8 a- `" I4 h
. x8 Q v# X9 {# Y! M$ p% O互信息量I(xi;yj)在联合概率空间P(XY)中的统计平均值。 平均互信息I(X;Y)克服了互信息量I(xi;yj)的随机性,成为一个确定的量。如果对数以 2 为基底，互信息的单位是bit。
8 \1 p! |& Y7 P6 Z _* `, @0 N- r4 \. |3 W+ H7 l
直观上，互信息度量 X 和 Y 共享的信息：它度量知道这两个变量其中一个，对另一个不确定度减少的程度。例如，如果 X 和 Y 相互独立，则知道 X 不对 Y 提供任何信息，反之亦然，所以它们的互信息为零。在另一个极端，如果 X 是 Y 的一个确定性函数，且 Y 也是 X 的一个确定性函数，那么传递的所有信息被 X 和 Y 共享：知道 X 决定 Y 的值，反之亦然。因此，在此情形互信息与 Y(或 X)单独包含的不确定度相同，称作 Y(或 X)的熵。而且，这个互信息与 X 的熵和 Y 的熵相同。(这种情形的一个非常特殊的情况是当 X 和 Y 为相同随机变量时。); m ]7 k |: N5 J3 p T
4 i0 G c' o# Y1 }# r* V* W1 N互信息是 X 和 Y 联合分布相对于假定 X 和 Y 独立情况下的联合分布之间的内在依赖性。于是互信息以下面方式度量依赖性：I(X; Y) = 0 当且仅当 X 和 Y 为独立随机变量。从一个方向很容易看出：当 X 和 Y 独立时，p(x,y) = p(x) p(y)，因此：6 t6 G+ t8 S; q+ N, o6 X
% Q4 g) ~) ]- O7 K$ c# v
3.png (6.26 KB, 下载次数: 1)
2020-11-4 13:41 上传
8 j0 B& n/ ~8 U( Q# v4 m% D- E; x. t. A! b
此外，互信息是非负的(即 I(X;Y) ≥ 0; 见下文)，而且是对称的(即 I(X;Y) = I(Y;X))。1 R1 q3 N! [: Z3 a0 d# ^6 Q" o8 \; p
8 T8 } c% q6 w6 B互信息特征选择算法的步骤+ C& Y" J$ ], l0 Y1 E9 `* |
①划分数据集
②利用互信息对特征进行排序
③选择前n个特征利用SVM进行训练
④在测试集上评价特征子集计算错误率
$ q2 `5 S: C- s, @缺点! L3 S( r k5 g# `
此种特征选择方法是最大化特征与分类变量之间的相关度，就是选择与分类变量拥有最高相关度的前k个变量。但是，在特征选择中，单个好的特征的组合并不能增加分类器的性能，因为有可能特征之间是高度相关的，这就导致了特征变量的冗余。
+ [: u: ?0 U. S5 ~% O4 Z+ ?2 @2 W" e3 Q5 v+ Q9 Z& ^
代码7 P; j5 p+ `5 f, K
注意使用的数据集是dlbcl，大概五千多维，可以从UCI上下载，最终选择前100特征进行训练。
: N% \5 i, ^$ [9 p( Q1 K$ F$ |: k8 J1 l1 m4 \6 K
主函数代码：
" X' `$ _) P1 S+ i: p; Z& f: n# g( _# s. H8 u8 ]9 b$ o
clear all
close all
clc;
[X_train,Y_train,X_test,Y_test] = divide_dlbcl();
Y_train(Y_train==0)=-1;
Y_test(Y_test==0)=-1;
% number of features
numF = size(X_train,2);
[ ranking , w] = mutInfFS( X_train, Y_train, numF );
k = 100; % select the Top 2 features
svmStruct = svmtrain(X_train(:,ranking(1:k)),Y_train,'showplot',true);
C = svmclassify(svmStruct,X_test(:,ranking(1:k)),'showplot',true);
err_rate = sum(Y_test~= C)/size(X_test,1); % mis-classification rate
conMat = confusionmat(Y_test,C); % the confusion matrix
fprintf('\nAccuracy: %.2f%%, Error-Rate: %.2f \n',100*(1-err_rate),err_rate);% ~: ^' U4 Q8 z0 N
9 q# T; E$ j7 o. N0 C' W) U% [1 r# k% l
mutInfFS.m
$ }6 f& h/ ^, q% `3 ?2 U+ f* Q# k$ Y' s( J/ W {8 W+ @
function [ rank , w] = mutInfFS( X,Y,numF )
rank = [];
for i = 1:size(X,2)
rank = [rank; -muteinf(X(:,i),Y) i];
end;
rank = sortrows(rank,1);
w = rank(1:numF, 1);
rank = rank(1:numF, 2);
end
1 O0 T+ d' a9 G- p
: y1 Z. x9 S& q5 o% k* W5 B+ x$ B
% U- O$ `+ r, J7 {muteinf.m
& S9 ^) s; _0 ~
% ~8 x$ j' F6 @8 x( y( H$ bfunction info = muteinf(A, Y)
n = size(A,1);%实例数量
Z = [A Y];%所有实例的维度值及标签
if(n/10 > 20)
nbins = 20;
else
nbins = max(floor(n/10),10);%设置区间的个数
end;
pA = hist(A, nbins);%min(A)到max(A)划分出nbins个区间出来，求每个区间的概率
pA = pA ./ n;%除以实例数量
i = find(pA == 0);
pA(i) = 0.00001;%不能使某一区间的概率为0
od = size(Y,2);%一个维度
cl = od;
%下面是求实例不同标签的的概率值，也就是频率
if(od == 1)
pY = [length(find(Y==+1)) length(find(Y==-1))] / n;
cl = 2;
else
pY = zeros(1,od);
for i=1：od
pY(i) = length(find(Y==+1));
end;
pY = pY / n;
end;
p = zeros(cl,nbins);
rx = abs(max(A) - min(A)) / nbins;%每个区间长度
for i = 1:cl
xl = min(A);%变量的下界
for j = 1:nbins
if(i == 2) && (od == 1)
interval = (xl <= Z(:,1)) & (Z(:,2) == -1);
else
interval = (xl <= Z(:,1)) & (Z(:,i+1) == +1);
end;
if(j < nbins)
interval = interval & (Z(:,1) < xl + rx);
end;
%find(interval)
p(i,j) = length(find(interval));
if p(i,j) == 0 % hack!
p(i,j) = 0.00001;
end
xl = xl + rx;
end;
end;
HA = -sum(pA .* log(pA));%计算当前维度的信息熵
HY = -sum(pY .* log(pY));%计算标签的信息熵
pA = repmat(pA,cl,1);
pY = repmat(pY',1,nbins);
p = p ./ n;
info = sum(sum(p .* log(p ./ (pA .* pY))));
info = 2 * info ./ (HA + HY);%计算互信息
; a) R" o4 E( Y% Y' q : N$ ?0 z# _' s
3 r3 k( k1 K) e4 X( W前100个特征的效果：
5 w1 \$ M/ X8 C$ L# N2 G0 M* n) H# J
Accuracy: 86.36%, Error-Rate: 0.14
9 M! G+ P. e) ?8 ^( o5 W! v. b7 T* e1 U% L! v* E5 o+ O' J
选择前两个特征进行训练(压缩率接近100%,把上述代码中的K设为2即可)的二维图：: ^1 S( V$ m8 Q( _4 i5 s) s E
* R( [" C/ w$ A) O, [
4.png (44.85 KB, 下载次数: 0)
2020-11-4 13:41 上传
4 d3 j/ {. A |- I; S& E6 Y z" z7 U" g
Accuracy: 75.00%, Error-Rate: 0.25
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
