PCA
MTandHJ
这个作者很懒,什么都没留下…
展开
-
Sparse Principal Component Analysis
文章目录背景:部分符号创新点文章梗概The LASSO AND THE ELASTIC NET普通的LassoThe elastic net将PCA改造为回归问题定理一 考虑单个向量(需要先进行SVD)定理二 单个向量(无需进行SVD版本)定理三 多个向量(无需进行SVD, 非LASSO,非elastic net)目标函数(最终版)俩步求解定理四 A given B的理论支撑(存疑)算...翻译 2019-01-17 10:47:40 · 1809 阅读 · 0 评论 -
Matrix Completion with Noise
文章目录引恢复1核范数与SDPCandes E J, Plan Y. Matrix Completion With Noise[J]. arXiv: Information Theory, 2010, 98(6): 925-936.这篇文章,同一个人(团队?)写的,遗憾的是,没怎么看懂。怎么说呢,里面的关于对偶的性质实在不知道从何入手,但想来还是得记一笔。引这篇文章,讨论的是这样的一个...翻译 2019-04-19 21:01:09 · 729 阅读 · 0 评论 -
Probabilistic Principal Component Analysis
文章目录引主要内容附录极大似然估计Tipping M E, Bishop C M. Probabilistic Principal Component Analysis[J]. Journal of The Royal Statistical Society Series B-statistical Methodology, 1999, 61(3): 611-622.引PPCA 通过高斯...翻译 2019-04-30 12:39:41 · 625 阅读 · 0 评论 -
Kernel PCA and De-Noisingin Feature Spaces
文章目录引主要内容Kernel PCA and De-Noisingin Feature Spaces引kernel PCA通过k(x,y)k(x,y)k(x,y)隐式地将样本由输入空间映射到高维空间FFF,那么问题来了,如何回来呢,即已知Φ(x)∈F\Phi(x) \in FΦ(x)∈F,如何找到其原像xxx呢?可是呢:这个问题不一定有解,因为从低维空间往高维空间映射往往不是满射;...翻译 2019-05-08 17:14:22 · 215 阅读 · 0 评论 -
Nonlinear Component Analysis as a Kernel Eigenvalue Problem
文章目录引Scholkopf B, Smola A J, Muller K, et al. Nonlinear component analysis as a kernel eigenvalue problem[J]. Neural Computation, 1998, 10(5): 1299-1319.引普通的PCA将下式进行特征分解(用论文的话讲就是对角化):C=1M∑j=1Mxj...翻译 2019-04-25 17:47:41 · 1103 阅读 · 3 评论 -
Recovering Low-Rank Matrices From Few Coefficients In Any Basis
文章目录引主要结果定理2,3定理4直观解释Recovering Low-Rank Matrices From Few Coefficients In Any Basis-David Gross引依旧是一个重构矩阵的问题,这篇论文的符号有些奇怪,注意一下。假设有一个矩阵ρ∈Rn×n\rho \in \mathbb{R}^{n \times n}ρ∈Rn×n,其秩为r≪nr \ll nr≪n。...翻译 2019-04-25 17:51:03 · 166 阅读 · 3 评论 -
A ROBUST KERNEL PCA ALGORITHM
文章目录引主要内容问题一问题二Lu C, Zhang T, Du X, et al. A robust kernel PCA algorithm[C]. international conference on machine learning and cybernetics, 2004: 3084-3087.引这篇文章的思想很简单,如何将robust 和 kernel结合起来:找出异常值...翻译 2019-05-06 15:55:10 · 269 阅读 · 3 评论 -
Robust De-noising by Kernel PCA
文章目录引主要内容Takahashi T, Kurita T. Robust De-noising by Kernel PCA[C]. international conference on artificial neural networks, 2002: 739-744.引这篇文章是基于对Kernel PCA and De-Noisingin Feature Spaces的一个改进。...翻译 2019-05-10 18:16:59 · 151 阅读 · 0 评论 -
A pure L1-norm principal component analysis
文章目录问题细节$L_1-PCA$的损失函数$L_1-PCA$算法投影坐标系A pure L1-norm principal component analysis虽然没有完全弄清楚其中的数学内涵,但是觉得有趣,记录一下.问题众所周知,一般的PCA(论文中以L2−PCAL_2-PCAL2−PCA表示)利用二范数构造损失函数并求解,但是有一个问题就是会对异常值非常敏感. 所以,已经有许多...原创 2019-08-31 19:50:10 · 164 阅读 · 0 评论 -
Dimension reduction in principal component analysis for trees
文章目录问题重要的定义距离Alfaro C A, Aydin B, Valencia C E, et al. Dimension reduction in principal component analysis for trees[J]. Computational Statistics & Data Analysis, 2014: 157-179.Aydin B, Patak...原创 2019-09-09 21:20:58 · 143 阅读 · 0 评论 -
Kernel PCA for Novelty Detection
文章目录引主要内容$\sigma^2$的选择数值实验矩形框spiral代码Hoffmann H. Kernel PCA for novelty detection[J]. Pattern Recognition, 2007, 40(3): 863-874.引Novelty Detection: 给我的感觉有点像是奇异值检测,但是又不对,训练样本应该默认是好的样本。这个检测应该就是圈个范围...翻译 2019-05-03 18:14:43 · 334 阅读 · 0 评论 -
Missing Data in Kernel PCA
文章目录引主要内容关于缺失数据的导数附录极大似然估计Sanguinetti G, Lawrence N D. Missing data in kernel PCA[J]. european conference on machine learning, 2006: 751-758.引普通的kernel PCA是通过KKK,其中Kij=ΦT(yi)Φ(yj)K_{ij} = \Phi^T(...翻译 2019-05-01 22:19:53 · 177 阅读 · 0 评论 -
Robust PCA via Outlier Pursuit
文章目录引主要结果定理1定理2Xu H, Caramanis C, Sanghavi S, et al. Robust PCA via Outlier Pursuit[C]. neural information processing systems, 2010: 2496-2504.引这篇文章同样是关于矩阵恢复的。假设M=L0+C0∈Rp×nM = L_0 + C_0 \in \mat...翻译 2019-04-23 11:03:25 · 494 阅读 · 0 评论 -
Deflation Methods for Sparse PCA
文章目录背景Hotelling's deflation公式特点Projection deflation公式特点半正定Schur complement deflationOrthogonalized projection deflation公式Orthogonalized Hotelling's deflation公式特点背景有很多Sparse PCA 算法运用了收缩算法,但是呢,往往只考虑如...翻译 2019-01-17 13:48:40 · 330 阅读 · 0 评论 -
A direct formulation for sparse PCA using semidefinite programming
文章目录背景Sparse eigenvectors(单个向量的稀疏化)初始问题(low-rank的思想?)等价问题最小化$\lambda$ 得到下列问题(易推)再来一个等价问题条件放松(凸化)A robustness interpretation收缩关于半正定规划,回头再看看。背景上篇总结了一些收缩法,这篇论文就是一个示例,虽然这篇论文是在那人之前写的。Sparse eigenvector...翻译 2019-01-18 21:21:13 · 174 阅读 · 0 评论 -
Full Regularization Path for Sparse Principal Component Analysis
文章目录背景NotationSparse PCASemidefinite RelaxationLow Rank OptimizationSorting and Thresholding背景懒得说了,毕竟和上一篇作者都是一个人,有特殊的情况是,上次做的复杂度过大,这次降低了复杂度。NotationSparse PCA在上篇论文里面,也提到了这个式子。上次是用它来进行一个robust的解...翻译 2019-01-19 10:13:48 · 224 阅读 · 0 评论 -
Spectral Bounds for Sparse PCA: Exact and Greedy Algorithms[贪婪算法选特征]
文章目录概括Sparse PCA Formulation非常普遍的问题Optimality Conditions条件1条件2Eigenvalue Bounds分隔定理的证明(《代数特征值问题》p98)另外一个性质算法代码概括这篇论文,不像以往的那些论文,构造优化问题,然后再求解这个问题(一般都是凸化)。而是,直接选择某些特征,自然,不是瞎选的,论文给了一些理论支撑。但是,说实话,对于这个算法...翻译 2019-01-19 17:47:08 · 281 阅读 · 0 评论 -
Sparse Principal Component Analysis via Rotation and Truncation
文章目录对以往一些SPCA算法复杂度的总结Notation论文概述原始问题问题的变种算法固定$X$,计算$R$固定$R$,求解$X$ ($Z =VR$)1-范数$T-\ell_0$(新的初始问题)T-sp 考虑稀疏度的初始问题T-en 考虑Energy的问题SPCArt算法,利用旋转(正交变换更为恰当,因为没有体现出旋转这个过程),交替迭代求解sparse PCA。对以往一些SPCA算法复杂...翻译 2019-01-20 13:58:41 · 397 阅读 · 1 评论 -
Generalized Power Method for Sparse Principal Component Analysis
文章目录重点算法这篇文章,看的晕晕的,但是被引用了400多次了,就简单地记一笔。这个东西,因为ℓ1\ell_1ℓ1范数,所以会稀疏化,当然,和γ\gammaγ有关。重点我想重点写的地方是下面这个改写:他们这些人都太会玩了。还有一些别的约束方法,比如ℓ0\ell_0ℓ0:这个问题不知道该怎么求解,接下来,把单一向量的求解扩展到了块求解,这里只做一个记号。算法...原创 2019-01-21 14:08:39 · 265 阅读 · 0 评论 -
Sparse Principal Component Analysis via Regularized Low Rank Matrix Approximation(Adjusted Variance)
文章目录前言文章概述固定$\widetilde{\mathrm{v}}$固定$\widetilde{\mathrm{u}}$Adjusted Variance前言这篇文章用的也是交替算法,不得不说,这个东西太好用了,变来变去怎么都能玩出花来。这篇论文的关键之处,我感觉是对adjusted variance的算法,比较让人信服。文章概述X是中心化的样本矩阵X是中心化的样本矩阵X是中心化的...翻译 2019-01-23 10:16:11 · 212 阅读 · 0 评论 -
Truncated Power Method for Sparse Eigenvalue Problems
文章目录算法k的选择$x$的初始化代码抱歉,真的没怎么看懂,当然,估计和我现在没法静下心来好好看也有关系。算法想法非常非常简单吧,就是在原来幂法的基础上,每次迭代的时候再加个截断。当然,论文里给出了,为什么这么做的理由,把我弄得晕晕的,但是思想就是这么朴素。现在的问题是:1.k怎么选?2.初始xxx的选择k的选择这个我没在论文里找到,但是看数值实验,感觉在k上面是有操作空间的。...翻译 2019-01-23 11:35:24 · 328 阅读 · 0 评论 -
Robust Principal Component Analysis?(PCP)
文章目录引一些微弱的假设:问题的解决Candes E J, Li X, Ma Y, et al. Robust principal component analysis[J]. Journal of the ACM, 2011, 58(3).引这篇文章,讨论的是这样的一个问题:M=L0+S0M = L_0 + S_0M=L0+S0有这样的一个矩阵M∈Rn1×n2M \in \...翻译 2019-04-15 20:38:38 · 1679 阅读 · 5 评论 -
Simplicial principal component analysis for density functions in Bayes spaces
Hron K, Menafoglio A, Templ M, et al. Simplicial principal component analysis for density functions in Bayes spaces[J]. Computational Statistics & Data Analysis, 2016: 330-350.问题我们知道一般的PCA,其数据...原创 2019-10-10 20:57:10 · 182 阅读 · 0 评论