白化
白化的目的就是降低输入的冗余性;更正式的说,我们希望通过白化过程使得学习算法的输入具有如下性质:(i)特征之间相关性较低;(ii)所有特征具有相同的方差。
白化的目的是使得数据的协方差矩阵变为单位矩阵,同时,对数据进行旋转变换并不会改变单位矩阵的值,因此可以对白化后的数据进行旋转,得到的数据协方差仍为单位阵。这就引出了两种数据处理的方法:
1、PCA+白化:降维+协方差矩阵归一化去除数据信息中的冗余;
2、ZCA+白化:协方差矩阵归一化,同时不改变原始数据的维度,最大限度保留原始数据特性。
PCA
PCA的本质是为了消除原始数据之间的相关性,使原始数据在降维之后的维度后无关,或者说是减少了数据之间的相互依存的关系。
对于自然图像使用PCA不需要方差归一只需要均值归一,对于其他的非自然图像(比如,手写文字,或者白背景正中摆放单独物体),其他规整化操作就值得考虑了,而哪种做法最合适也取决于具体应用场合。
注意:均值归一的对象是数据向量的某一个元素,均值取得是该维度元素的均值,对于图像数据,我们根据像素点的位置,对数据集中的图片在同一像素位置的元素值取均值,而不是对某一图片取均值。
首先我们要明确一点,对特征向量进行无损的坐标变换并不会改变数据集总体的方差大小,因为方差相当于是数据集中的向量到数据中心的距离的平方的均值,坐标变换并不会改变距离的大小。PCA相当于将特征进行投影,在不同的维度上产生的方差与特征向量的大小正相关?线性。方差的总体的值是不变的,我们希望选择的特征维度能够尽可能保留数据中的原有的方差,因此按照特征值从大到小选择对应的向量作为投影方向。一般选择特征值占99%的压缩比例来决定选择降低后的维度大小。
为使PCA算法能有效工作,通常我们希望所有的特征 \textstyle x_1, x_2, \ldots, x_n 都有相似的取值范围(并且均值接近于0)。如果你曾在其它应用中使用过PCA算法,你可能知道有必要单独对每个特征做预处理,即通过估算每个特征 \textstyle x_j 的均值和方差,而后将其取值范围规整化为零均值和单位方差。但是,对于大部分图像类型,我们却不需要进行这样的预处理。假定我们将在自然图像上训练算法,此时特征 \textstyle x_j 代表的是像素 \textstyle j 的值。所谓“自然图像”,不严格的说,是指人或动物在他们一生中所见的那种图像。
注:通常我们选取含草木等内容的户外场景图片,然后从中随机截取小图像块(如16x16像素)来训练算法。在实践中我们发现,大多数特征学习算法对训练图片的确切类型并不敏感,所以大多数用普通照相机拍摄的图片,只要不是特别的模糊或带有非常奇怪的人工痕迹,都可以使用。
在自然图像上进行训练时,对每一个像素单独估计均值和方差意义不大,因为(理论上)图像任一部分的统计性质都应该和其它部分相同,图像的这种特性被称作平稳性(stationarity)。
具体而言,为使PCA算法正常工作,我们通常需要满足以下要求:(1)特征的均值大致为0;(2)不同特征的方差值彼此相似。对于自然图片,即使不进行方差归一化操作,条件(2)也自然满足,故而我们不再进行任何方差归一化操作(对音频数据,如声谱,或文本数据,如词袋向量,我们通常也不进行方差归一化)。实际上,PCA算法对输入数据具有缩放不变性,无论输入数据的值被如何放大(或缩小),返回的特征向量都不改变。更正式的说:如果将每个特征向量 \textstyle x 都乘以某个正数(即所有特征量被放大或缩小相同的倍数),PCA的输出特征向量都将不会发生变化。
ZCA白化
类似于PCA,寻找方差最大的投影方向,不做降维->坐标变换->白化->反变换->被白化且接近原始数据
正则化
在ZCA白化过程中,除以特征值的平方根,为防止特征值过小导致数据溢出,为特征值加上一个小的常数作为正则化项。