m0_48325295的博客

原创 信息熵、信息增益

随机事件的自信息 定义： 表示随机事件x包含的信息量。 它有两个含义： 1.表示事件发生的不确定性（事件发生前）； 2.表示该事件所提供的信息量（事件发生后）。 公式：I(xi)=log1p(xi)=−logp(xi)I(x_i)=log\frac {1}{p(x_i)}=-logp(x_i)I(xi​)=logp(xi​)1​=−logp(xi​) 信息熵(Information Entropy) 含义： 1.描述信息源X的平均不确定性 2.平均每个信息源符号所携带的信息量 信息熵是表示随机变量不