最大相关最小冗余

数据一般的形式是有维度的，每一个维度就是数据的特征变量，很多特征变量之间有相似的，也有不相似的，如果一个特征很多的数据，比如10000个，建模的时候所有的数据都利用起来，会很慢，而且模型会很复杂，会造成浪费和不实用。大相关最小冗余就是一种选特征的思想，最大相关是希望模型和选取的特征变量之间是最大相关的，有些数据的特征对于我们要解决的问题是没有关系的，所以在利用数据的时候要将相关性最大的特征挑选出来，相关性最大，也就时候得到的模型越能够解决问题。最小冗余是指，因为有可能特征之间是高度相关的，这就导致了特征变量的冗余，我们希望这种冗余最下。这两个方向都要达到，就是最大相关最小冗余的思想。最大相关的是特征变量与模型之间，最小冗余是特征变量之间。