特征编码、欠定与超定方程、不确定性与熵

特征编码

直接编码

对不同特征标注01234即可

One-hot编码

对不同特征标注0001,0010,0100,1000

Dummy编码（哑变量编码、虚拟变量编码）

四个变量可以用三个变量表示即可，另一个可以通过排除法得到。

欠定与超定方程：

由若干个偏微分方程所构成的等式组就称为偏微分方程组，其未知函数也可以是若干个。当方程的个数少于未知函数的个数时，就称为欠定的。当方程的个数超过未知函数的个数时，就称这偏微分方程组为超定的。

不确定性与熵

1. 信息熵：表示的是信息量的大小，信息不确定性的大小，把事情弄清楚的次数。
   
   $$Ent\left(f\right)=-{\int }_{-\infty }^{+\infty }f\left(x\right){\log }_{a}f\left(x\right)dx$$
   f（x）为概率密度函数。

2. 联合熵
   

3. 条件熵
   

4. 交叉熵
   主要用于度量两个概率分布间的差异性信息。
   可用于训练样本集总体样本的分布估计与真实分布的差异性！交叉熵越大，误差越大。
   $$Ent\left(f_0,f_1\right)=-{\int }_{-\infty }^{+\infty }{f}_0\left(x\right){\log }_a{f}_1\left(x\right)dx$$
   吉布斯不等式：交叉熵恒大于等于信息熵

5. 相对熵（也叫KL散度）
   $$D_{KL}\left(f_0||f_1\right)=Ent\left(f_0,f_1\right)-Ent\left(f_0\right)$$
   相对熵越小，也就等同于Ent（f0，f1）越小

6. 互信息
   不确定性的减少量。Ent(Y|X)表示给了提示信息X的Y的不确定性度量
   $$I\left(Y;X\right)=Ent\left(Y\right)-Ent\left(Y|X\right)$$

7. 信息增益
   信息增益
   
   实际上就是信息熵减去条件熵。

8. 增益率