机器学习基础1-熵，相对熵，交叉熵、香农熵

信息量

$\sqrt{x}$ 假设X是一个离散型随机变量，其取值集合为X，概率分布函数为p(x)=Pr(X=x),x∈X，我们定义事件X=x0的信息量为： $I(x_0)=-log P(x_0)$可以理解为，一个事件发生的概率越大，则它所携带的信息量就越小，而当$p(x_0)=1$时，熵将等于0，也就是说该事件的发生不会导致任何信息量的增加。举个例子，小明平时不爱学习，考试经常不及格，而小王是个勤奋学习的好学生，经常得满分，所以我们可以做如下假设：
事件A：小明考试及格，对应的概率$p(x_A)=0.1$,信息量为$I(x_A)=-log(0.1)=3.3219$
事件B：小王考试及格，对应的概率$p(x_B)=0.999$，信息量为 I(