qq_35286745的博客

熵用来度量一个事件、一个变量取值所含有的信息的量的大小。出发点：一个低概率事件发生——背后信息大；反之亦然。比如，找人算1+1，等于2是很显然的，但是某人算出个3出来，那背后就有很大空间可以让我们想象了。实施：既然信息量和概率（以及发生）有关，那就从事件发生的概率角度度量信息量；p(x)           设信息量用h(·）来表示   低概率事件信息量＞高概率事件

1） Norminal Data 定类变量：变量的不同取值仅仅代表了不同类的事物，这样的变量叫定类变量。问卷的人口特征中最常使用的问题，而调查被访对象的“性别”，就是 定类变量。对于定类变量，加减乘除等运算是没有实际意义的。（2） Ordinal Data定序变量：变量的值不仅能够代表事物的分类，还能代表事物按某种特性的排序，这样的变量叫定序变量。问卷的人口特征中最常使用的问题“教育程度“