信息论：熵 值的种类与其应用

熵值（entropy）的定义历史：
1865年德国物理学家克劳修斯《热力学》中提出：
熵增原理，一个系统的混乱度，实际发生过程中，总是系统的熵值趋于增大。

1877年玻尔兹曼《统计物理学》证明：系统的宏观物理性质，可以认为是所有可能微观状态的等概率统计平均值。我们将熵看作是一个系统“混乱程度”的度量，因为一个系统越混乱，可以看作是微观状态分布越均匀。

1948年香农 在信号通信领域《信息论》提出信息熵：
信息熵（香农熵）：根据数据样本所出现的概率计算数据混乱程度的数值叫做信息熵。

1957年jaynes观点认为热力学熵值是香农信息论的一个应用。

所以现在除了利用了解系统或者样本的熵值，还可以利把他的熵值（混乱度）作为一个系统的特征进行处理；

熵值的原始定义：
如果X是一个离散型随机变量，概率分布为：
p(x)=p(X=x)
X的熵值为H(x)=-Ep(x)logap(x);
对数的底a为2时候：H单位是bit。
对数的底a为e=2.732:H单位是nat。
对数的底a为10：H的单位是hart。
取值范围：【0-lg|X|】X是样本取值个数
性质：连续性，对称性，极值性（极值最大就是均匀分布的时候）可加性
熵值（信息熵）：又称为自信息或（信息熵），系统的不确定性量度，离散变量的不确定性（混乱度的度量）。
例如以下：

自信息 非负 量化单个事件发生包含信息量（不确定度）的基本方法
香浓熵 非负 对概率分布中的不确定性总量进行量化
微分熵 非负 对连续性随机变量的概率分布中的不确定性总量进行量化
相对熵 非负，非对称 衡量两个分布之间的差异；用作机器学习分类任务的损失函数时，往往可以替换为交叉熵
交叉熵 非负 衡量两个随机变量之间的相似度；当真实输出a与期望输出y接近的时候，代价函数接近于0；常用作分类问题中的损失函数

%输入数组
x=[ 1 1 1 1 2 2 3 4];
%信息熵
a=tabulate(x);%统计概率函数：tabulate()
p_a=a(:,3)./100;%取出统计概率值
H=(-1)*sum(p_a.*log2(p_a))%计算信息熵

微分熵：香农信息论一个连续时序样本变量在连续变量上的推广形式，
高斯分布下的微分熵：

联合熵：
条件熵：
相对熵（relative entropy）（kl散度）：交叉熵-信息熵
差分熵：
微分熵：
交叉熵：
传递熵：
加权熵：
雷尼熵（renyi entropy）,
用到熵的公式的
kl散度：
条件kl散度：
js散度：
互信息：
点互信息：