PCA Whitening ZCA Whitening

最新推荐文章于 2021-03-20 23:42:53 发布
最新推荐文章于 2021-03-20 23:42:53 发布
阅读量885 收藏 1
点赞数
分类专栏： 机器学习 文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ls617386/article/details/73323635
版权
本文详细介绍了PCA（主成分分析）及其在图像处理中的应用，强调了PCA在降维和保持数据结构中的作用。接着讨论了白化技术，旨在减少特征间的相关性和统一特征方差。ZCA白化被提出，它通过特定的旋转使得数据尽可能接近原始输入，适合用于图像数据。在实际应用中，为了稳定性和效果，通常会添加微量的正则化项。
摘要由CSDN通过智能技术生成

本篇文章主要内容来自于Andrew的书，链接为http://ufldl.stanford.edu/tutorial/unsupervised/PCAWhitening/

PCA

PCA也就是主成分分析，是用来降维的一种手段，它可以显著地提高算法的运行速度。
当你在处理图像的时候，输入通常是冗余的，这是因为图像中相邻的像素点往往是关联的，PCA可以用来将图像的原始输入近似为一个更低维度的输入，并且保证误差较小。

对于降维的一个直观理解如下图所示：
这里写图片描述
原始图像中数据是二维的，但是明显看出数据是近似于某种线性结构的。PCA可以将数据投影到一个一维子空间上。
这里写图片描述
定义矩阵：

Σ=1m∑i=1m(x(i))(x(i))
最低0.47元/天 解锁文章
Echo0713
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
PCA与Whitening
freeliao的专栏 在路上奔跑。。。
02-18 4467
一、PCA  PCA即主成分分析(Principle Component Analysis)，是统计机器学习、数据挖掘中对数据进行预处理的常用的一种方法。PCA的作用有2个，一个是数据降维，一个是数据的可视化。在实际应用数据中，样本的维数可能很大，远远大于样本数目，这样模型的复杂度会很大，学习到的模型会过拟合，而且训练速度也会比较慢，内存消耗比较大，但实际数据可能有些维度是线性相关的，可能也含有
白化（Whitening） PCA白化 ZCA白化
热门推荐
Daniel_djf的专栏
12-25 2万+
白化是一种重要的预处理过程，其目的就是降低输入数据的冗余性，使得经过白化处理的输入数据具有如下性质：(i)特征之间相关性较低；(ii)所有特征具有相同的方差。   白化处理分PCA白化和ZCA白化，PCA白化保证数据各维度的方差为1，而ZCA白化保证数据各维度的方差相同。PCA白化可以用于降维也可以去相关性，而ZCA白化主要用于去相关性，且尽量使白化后的数据接近原始输入数据。 1
Deep learning：十(PCA和whitening)
weixin_34242331的博客
03-21 517
  　　PCA： 　　PCA的具有2个功能,一是维数约简（可以加快算法的训练速度，减小内存消耗等），一是数据的可视化。 　　PCA并不是线性回归，因为线性回归是保证得到的函数是y值方面误差最小，而PCA是保证得到的函数到所降的维度上的误差最小。另外线性回归是通过x值来预测y值，而PCA中是将所有的x样本都同等对待。 　　在使用PCA前需要对数据进行预处理，首先是均值化，即对每个特征维，都减...
PCA Whitening
chenxuanhanhao的专栏
06-30 547
ZCA whitening is a form of pre-processing of the data that maps it fromxtoxZCAwhite. It turns out that this is also a rough model of how the biological eye (the retina) processes images. Specifi...
PCA ZCA Whitening on natural images
karida_诺晴
05-13 1864
1. 传统PCA计算过程 In order for PCA to work well, informally we require that:  (i) The features have approximately zero mean; (ii) The different features have similar variances to each other. 亦即对输入特征的标准
UFLDL exercise3&4 PCA and Whitening
04-09
"PCA, PCA whitening and ZCA whitening in 2D" 这个练习可能涉及了以下步骤： 1. 数据预处理：收集或创建2D数据集，可能包括人为构造的数据或简单的图像。 2. PCA计算：找到数据的主要成分，即特征向量和对应的特征...
深度学习基础（四）PCA和Whitening
luxialan的专栏
01-25 2781
PCA(principal component analysis )即主成分分析，是一种常用的降维方法。 假设我们用降维操作处理一个二维的数据集（二维压缩成一维）：    在这个数据集上，我们可以计算出两个方向，我们称为主方向u1和次方向u2，其中u1的值是数据集协方差矩阵的最大特征值对应的特征向量，u2是次大特征值对应的特征向量。数据集的协方差矩阵（这个符号很像求和但不是）：
白化（Whitening）：PCA vs. ZCA
weixin_33851604的博客
12-13 808
2019独角兽企业重金招聘Python工程师标准>>> ...
ZCA
tongle.wang Homepage
12-20 2442
CNN数值——ZCA 冯超 · 4 个月前 前面我们已经讲了很多有关参数合并的事情，反倒忘了介绍有关输入数据的事情，下面就来介绍一下对输入数据的初始化算法。 在Caffe的网络描述中，data layer的配置中有一项是用于配置mean_file，也就是数据的平均数值，在计算中每个数据在进入网络计算前会减去mean_file，以确保数据的整体均值为0，这样对于训练数据会更有帮助。
ZCA 白化用于图像分类 ZCA 白化：此演示展示了如何对图像分类进行 ZCA 白化变换。在此演示中，ZCA 白化作为深度学习分类的预处理。-matlab开发
06-01
[英语] 该演示展示了如何实现 ZCA 白化以输入到卷积神经网络 (CNN)。 其解释请参考补充文件。 CNN 的输入层可以自动对图像进行归一化通过指定“ zscore”。 但是到2020a还没有实现ZCA白化，这个脚本最后定义了ZCA函数作为辅助函数。 [日本人]在这个演示中，ZCA 白化作为深度学习分类的预处理。 ZCA美白请参考参考资料。如果在定义图像输入层时指定'zscore'，则可以自动进行预处理。但是，尽管您可以使用均值、标准偏差等进行“逐像素”预处理，但考虑到“像素间”信息的 ZCA 认识到，在 2020a 中，无法在“”内指定名称。 ZCA美白可以非常有效[4]，取决于数据和网络等许多条件，它可能对提高准确性的贡献不大。 [参考] [1] Matlab 答案：如何将 PCA 应用于图像以通过示例降低其维数？ https://jp.mathworks.com/matlab
keras中的zca_whtening白化处理
liguandong
02-25 3248
白化：是一个比PCA稍微高级一点的算法。白化的目的就是去除输入数据中的冗余信息，假设训练数据是图像，由于图像中相邻的像素之间有很强的相关性，所以用于训练时输入是冗余的，白化的目的就是降低输入的冗余性。 其实从高光谱遥感影像的角度上，可能是可以一试的预处理。 输入数据集X，经过白化之后： 1.特征之间相关性较低。 2.所有特征具有相同的方差。 PCA作为降维算法，一般通过求出原数据的特征向
白化（Whitening）： PCA白化 & ZCA白化
wzg2016的博客
09-28 700
白化的目的： 白化是一种重要的预处理过程，其目的就是降低输入数据的冗余性，使得经过白化处理的输入数据具有如下性质： (i) 特征之间相关性较低，使数据的不同维度去相关； (ii) 所有特征具有相同的方差，使数据每个维度的方差为1. 条件1要求数据的协方差矩阵是个对角阵；条件2要求数据的协方差矩阵是个单位矩阵。 为什么使用白化 假设训练数据是图像，由于图像中相邻像素之间具有很强的相关性，所以用于训练时输入是冗余的。白化的目的就是降低输入的冗余性。 因为这目前不是我关注的重点，所以没有..
PCA, PCA whitening and ZCA whitening in 2D
脚踏实地
04-14 1755
Steps:  Step 0: Load data   Step 1a: Implement PCA to obtain U   Step 1b: Compute xRot, the projection on to the eigenbasis   Step 2: Reduce the number of dimensions from 2 to 1.   Step 3: PCA Wh
PCA ，PCAWhitening ，ZCAWhitening
whiteinblue的专栏
03-18 3777
PCA ，PCAWhitening，ZCAWhitening 白化的目的： 举例来说，假设训练数据是图像，由于图像中相邻像素之间具有很强的相关性，所以用于训练时输入是冗余的。白化的目的就是降低输入的冗余性；更正式的说，我们希望通过白化过程使得学习算法的输入具有如下性质：(i)特征之间相关性较低；(ii)所有特征具有相同的方差 一、Pca白化  PcaWhitening （1）消除数据的相
matlab实现zca去白化,机器学习 - 无监督学习实践1: PCA与白化
weixin_30425639的博客
03-20 344
主成分分析(PCA)PCA白化(Whitening)Whitening白化的目的就是降低输入的冗余性，即想通过白化过程使得输入：特征间的相关性较低; (PCA)所有特征具有相同的方差. (1 λ i + ϵ 1\over\sqrt{\lambda_i+\epsilon}λi​+ϵ​1​缩放)PCA已经使得数据间的相关性降低，为使每个输入特征具有单位方差，用1 λ i + ϵ 1\over\sqrt...
UFLDL教程之四：图像 PCA & whitening
02-25 507
具体可参考：http://www.cnblogs.com/tornadomeet/archive/2013/03/22/2975456.html %%================================================================ %% Step 0a: Load data %  Here we provide the code t
ZCA python实现
Z609834342的博客
12-03 1022
def ZCA(data, reg=1e-6): mean = np.mean(data, axis=0) mdata = data - mean sigma = np.dot(mdata.T, mdata) / mdata.shape[0] U, S, V = linalg.svd(sigma) components = np.dot(np.dot(U,...
白化ZCA
qq_37100442的博客
07-24 272
https://blog.csdn.net/julialove102123/article/details/72979614
PCA白化实现步骤解析
`score_whitening=(x-tempx)*(F*v)`应用这个转换，最后取前两列作为白化后的结果，绘制散点图进行对比。 通过这个过程，我们可以看到PCA如何帮助我们找到数据的主要成分，并通过白化进一步标准化数据，使得新坐标系...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值