![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
降维与多视角学习
文章平均质量分 85
降维与多视角子空间学习是研究生期间的主要方向,介绍与总结一些这方面的内容
BigYouYou
行有不得,反求诸己
展开
-
多视角子空间学习系列之 MCCA (Multi-view CCA) 多视角CCA Horst算法
优化目标前面已经讲了典型相关分析CCA,并且提到,CCA是一种双视角的方法,只能处理视角数为2的情况。为了将CCA应用于更多视角,一些研究人员提出了MCCA(Multi-view CCA),即多视角CCA,将CCA直观地扩展到多视角版本。给定mmm个视角X1,X2,⋯ ,Xm{X_1,X_2,\cdots,X_m}X1,X2,⋯,Xm,其中第iii个视角Xi∈RDi×nX_i\in \ma...原创 2020-02-24 18:28:38 · 4441 阅读 · 0 评论 -
多视角子空间学习系列之 CCA 典型相关分析
多视角学习与子空间学习多视角学习(Multi-view learning)是陶大成提出的一个研究方向。我们都知道,在机器学习中样本可以用不同的特征(如图片可以用LBP、SIFT等特征)来表示,或者从不同的角度进行观察(如从前后左右观察一个对象),甚至是采用不同的传感器来观测(如RGB摄像头,Depth摄像头),这些不同的观测手段、角度或特征在多视角学习中称为“视角”。多视角学习通过对不同的视角进...原创 2020-02-20 15:38:37 · 2342 阅读 · 0 评论 -
降维系列之 AutoEncoder 自动编码器
AutoEncoder简单很多,简写一下。主要分两个部分,Encoder和Decoder,Encoder是降维的过程,Decoder是将降维的结果升维,AutoEncoder希望升维的结果与原始数据尽可能一致,二者共同构成一个前馈的网络,训练完后的中间结果就是降维结果。Encoder和Decoder的构成可以是线性的,也可以是非线性的,可以自由设计。看代码更明白一些:class AutoEn...原创 2020-02-19 15:32:02 · 5794 阅读 · 2 评论 -
降维系列之 SNE与t-SNE
t-SNE是一种经典的降维和可视化方法,是基于SNE(Stochastic Neighbor Embedding,随机近邻嵌入)做的,要了解t-SNE就要先了解SNE。本文同样既是总结,又是读论文笔记。SNE 随机近邻嵌入SNE的的第一步是用条件概率来表示高维空间中样本点之间用欧氏距离度量的相似度。假设样本选择其近邻的概率与与以自身为中心的高斯分布的概率密度成正比,SNE用pj∣ip_{j|i...原创 2020-02-19 13:20:14 · 3382 阅读 · 1 评论 -
降维系列之 MDS多维缩放 与 ISOMAP 等度量映射
主要思路MDS(Multi-dimensional Scaling)是一种经典的降维方法。本文主要参考这个PPT。给定样本集X=[x1,⋯ ,xn]∈RD×nX=[x_1,\cdots,x_n]\in \mathbb{R}^{D\times n}X=[x1,⋯,xn]∈RD×n,其中nnn表示样本数量,DDD表示维度,每一列表示一个样本,以及一种满足如下条件的度量方式dabd_{ab}da...原创 2020-02-16 13:19:58 · 615 阅读 · 0 评论 -
降维系列之 LTSA 局部切空间排列
前面写的PCA,LE,LDA,LLE都是以前就比较熟悉的东西,从这篇开始写的都是之前不熟悉的甚至都不知道名字的算法,然而都还很经典。疫情期间在家里看看原文,学习学习,既是算法总结又是读论文笔记。这篇来写LTSA局部切空间排列。本篇符号尽量与原文保持一致,与前面几篇有所不同。主要思路LTSA(Local Tangent Space Alignment)的基本思路是用样本点的近邻区域的切空间来表示...原创 2020-02-14 15:43:53 · 7000 阅读 · 8 评论 -
降维系列之 LLE 局部线性嵌入
基本思路LLE(Local Linear Embedding)局部线性嵌入的思路也是局部保持与线性降维,是一种经典的降维与流形学习算法。给定X∈RD×nX\in \mathbb{R}^{D\times n}X∈RD×n表示原始的nnn个样本,每列一个样本,欲求XXX中这些样本降维后的结果Y∈Rd×n,d<DY\in \mathbb{R}^{d\times n},d<DY∈Rd×n,d...原创 2020-02-10 20:13:59 · 603 阅读 · 0 评论 -
降维系列之 LDA 线性判别分析
优化目标LDA是一种经典的线性降维方法。给定原始样本集合X∈RD×nX\in \mathbb{R}^{D\times n}X∈RD×n,目标是求降维后的结果Y∈Rd×n,d<DY\in \mathbb{R}^{d\times n}, d<DY∈Rd×n,d<D,LDA希望寻找一个投影矩阵W∈RD×dW\in \mathbb{R}^{D\times d}W∈RD×d满足Y=WTX...原创 2020-02-09 19:14:04 · 454 阅读 · 0 评论 -
降维系列之 LE 拉普拉斯特征映射
优化目标接上篇PCA继续写降维。LE也是一种经典的降维方法和流形学习方法。给定样本集X∈RD×nX\in \mathbb{R}^{D\times n}X∈RD×n,DDD是样本原始维度,nnn是样本数量,每一列表示一个样本;求解目标是Y∈Rd×nY\in \mathbb{R}^{d\times n}Y∈Rd×n,ddd为目标维度,每一列表示一个样本。与PCA不同的是,LE是一种非线性的方法,它...原创 2020-02-08 12:24:56 · 2733 阅读 · 4 评论 -
降维系列之 PCA 主成分分析
写这个系列主要目的是巩固和总结数学知识,也是希望以后查阅起来方便。降维方法是研究生期间我所在的组研究过很久的一套内容,我虽然没有搞这个方向,但是也受了很多熏陶。研一刚接触的时候老师讲啊讲,其实也没讲很细,我基本只做了笔记,啥都没懂,数学基础欠缺太多。后来慢慢一一补齐,总算是大概能理解下来,但还是有些许地方心中存疑。到现在熟悉了这些东西的基本思路,也看了很多论文和数学,就比较熟练了。一切就从组内的入...原创 2020-02-07 14:42:51 · 825 阅读 · 3 评论