摘抄 特征

一个好特征所该具有的3种特点

1）每个样本的特征应该是稀疏的（Population Sparsity）

         每个样本都只用很少的激活（非零）特征来描述。具体来说，对于特征矩阵的每一列（一个样本）f⁽ⁱ⁾，只有很少的非零元素。其他的都是0 。例如，一幅图像可以由里面包含的一些目标来描述，如果里面存在很多可能的目标，那么在某一时刻，也只可能出现一些。我们称之为population sparsity（种群稀疏）。

 

2）样本间的特征应该是稀疏的（Lifetime Sparsity）

         好的特征应该是具有区分性的，这样才可以区分样本。例如需要区分人脸和人手，那么很明显，肤色不是区分性的特征，因为人脸和人手都有肤色。但如果看有没有眼睛，那么就很容易区分是人脸还是人手了，所以眼睛就是一个区分性的特征。所以要区分样本，就要选择样本独有的，而不是大家都有的特征。稍微学术点的表达就是，每个特征只允许在少量的样本内被激活。也就是说，在特征矩阵中，每一行（一种特征）应该只有少量的非零元素。这个特征的属性被称为lifetime sparsity（存在稀疏）。

 

3）特征的分布应该是均匀的（High Dispersal）

         对每一行（一种特征在不同样本的时候的不同取值）的特征的分布，应该和其他行的特征的分布相似，或者说每种特征都应该具有相似的统计特性。具体来说，对矩阵的每一行，我们取该行所有元素（一种特征在不同样本的时候的不同取值）的平方后的均值作为其统计特性的描述。每一行都存在一个均值，那么每行的均值都应该是一样的，这样就可以认为所有的特征都具有相似的分布。这种属性我们称之为high dispersal（高分散性）。但对于一个好的特征描述来说，这个属性并不是必要的。但它可以防止特征的退化，也就是可以防止提取到相同的特征（如果提取到相同的特征，那么特征既冗余，又没有增加信息量，所以一般都要求提取到的特征是正交的）。对于过完备的特征表达。high dispersal可以理解为只有很少的inactive不活跃的特征。例如，PCA编码一般不会满足high dispersal，因为大的特征值对应的特征向量（也就是特征code）大部分总是活跃active的。