白板推导：降维

最新推荐文章于 2022-03-07 21:01:42 发布
最新推荐文章于 2022-03-07 21:01:42 发布
阅读量176 收藏
点赞数
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/choose_c/article/details/97619720
版权

 

降维

           防止过拟合的其中一种方法就是降维，解决的问题就是维度灾难。

           从几何角度理解维度灾难(数据稀疏化）

PCA

一个中心：原始特征空间的重构，将特征从相关变成无关。

两个基本点：最大化投影误差和最小重构距离。(两者结果相同，解分别是前n个(主成分)和后n个特征向量)。

1.找到主成分

2.中心化再投影得到新坐标

PCA求解

数据：HX=U\Sigma V^{T} ; SVD分解，H:中心矩阵;H^{T}=H^{n}=H；

方差矩阵：S_{p*p} = X^{T}HX = X^{T}H^{T}HX=V\Sigma U^{T}U\Sigma V^{T}=V\Sigma ^{2}V^{T}；

数据矩阵：T_{N*N}=HXX^{T}H=U\Sigma ^{2}U^{T}；

使用S求解：得到方向(主成分)，然后HXV得到坐标(PCA主成分分析)

使用T求解：直接可以得到坐标(主坐标分析PCoA)

在特征维度很大时可以使用T求解。

P-PCA

z:隐变量，符合高斯分布

x:原数据，x= wz+μ+ε

p-pca：求解p(z|x),学习参数：w，μ，\sigma ^{2}(EM求解)

x，z之间的关系如下图：

视频地址：https://www.bilibili.com/video/av32709936/

 

 

 

 

 

 

 

 

choose_c
关注
专栏目录
机器学习基础（二）：降维
lygeneral的博客
02-09 216
概览一、前言二、主成分分析 一、前言 大量的特征有助于模型对训练样本的拟合，但随着特征空间维度的增加，导致数据稀疏且分布不均匀，出现维度灾难。较高的特征空间维度学习了训练样本中的噪声，即使训练误差较小，但由于产生过拟合，泛化误差有所增加。因此可考虑降维的方式去除噪声，提升模型的泛化能力。 二、主成分分析 主成分分析（Principle Component Analysis，PCA）是从 参考资料 ...
【白板推导系列笔记】降维-主成分分析-概率角度（Probabilistic PCA）
liu20020918zz的博客
10-05 694
PPCA假设所有的样本点取自某个分布X∈RpX \in \mathbb{R}^{p}X∈Rp，对应的每个点xix_{i}xi​，都有一个ziz_{i}zi​与之对应，取样与某个分布Z∈Rq(q
数据挖掘与分析课程笔记
yyywxk的博客
12-11 799
数据挖掘与分析课程笔记 参考教材：Data Mining and Analysis : MOHAMMED J.ZAKI, WAGNER MEIRA JR. Chapter 1 ：准备 1.1 数据矩阵 Def.1. 数据矩阵是指一个 (n×d)(n\times d)(n×d) 的矩阵 D=(X1X2⋯Xdx1x11x12⋯x1dx2x21x22⋯x2d⋮⋮⋮⋱⋮xnxn1xn2⋯xnd) \mathbf{D}=\left(\begin{array}{c|cccc} & X_{1} &
机器学习-白板推导 P5_1 (降维)
qq_28404829的博客
09-08 156
视频地址： https://www.bilibili.com/video/av32709936?from=search&seid=4590188259369011669
机器学习-白板推导 P5_2 (降维基础知识)
qq_28404829的博客
09-08 186
机器学习-白板推导 P5_2降维基础知识 降维基础知识 X=[x1x2...xN]T=[x1Tx2T⋮xNT]=[x11x12...x1px21x22...x2p⋮⋮⋱⋮xN1xN2...xNp]N∗p X=\begin{bmatrix} x_1 & x_2 &...& x_N \end{bmatrix}^T=\begin{bmatrix} x_1^...
机器学习-白板推导学习笔记-5降维PCA
gigglehuahua的博客
02-13 645
维度灾难 当数据的特征维度不断增加时，很可能会产生维度灾难。以二值数据为例，每增加一个特征维度，样本数量就要增加倍。 所以要使用一些降维的操作。常见的降维方法有：1）直接降维——特征选择；2）线性降维——PCA，MDS；3）非线性降维——流形降维。 本篇文章主要是来介绍一下PCA算法的原理及使用步骤。 PCA原理 · 数据介绍 PCA思想——“一个中心，两个基本点” 一个中心是围绕着原始特征空间进行重构，使线性相关的特征转变为线性无关。 两个基本点包括最大投影方差和最小重构代价。..
机器学习-白板推导 P5_5 (PCA SVD)
qq_28404829的博客
09-09 255
机器学习-白板推导 P5_5SVD SVD S=GKGTGTG=IK=[k10...00k2...0⋮⋮⋱⋮00...kp]k1≥k2≥...≥kpS=GKG^T \quad G^TG=I \quad K=\begin{bmatrix} k_{1} & 0 &...& 0 \\ 0 & k_{2} &...&am...
白板推导5 降维1
08-03
【白板推导5 降维1】主要探讨的是数据降维的方法，特别是主成分分析（PCA）。降维是处理高维数据时常用的技术，它旨在通过减少特征的数量，同时保持数据的主要特性，以降低计算复杂性和提高模型的效率。 在降维过程...
机器学习-白板推导系列-前17讲笔记.pdf
08-23
《机器学习-白板推导系列-前17讲笔记》一文所涉及的内容，是机器学习算法学习和实践过程中的关键知识点。 首先，开篇部分一般会介绍机器学习的基本概念，包括其定义、研究范围、以及它与人工智能的关系。随后，数学...
机器学习白板推导 shuhuai008
cztAI的博客
08-04 988
一、概率基础
HMM模型与相关的三个算法
07-16
从hmm模型的建立，到解决hmm模型的三个问题的三种算法
机器学习-白板推导 P5_6 (P-PCA)
qq_28404829的博客
09-09 657
机器学习-白板推导 P5_6 P-PCA P-PCA x∈Rpz∈Rqq&lt;px \in R^p \quad z \in R^q \quad q&lt;px∈Rpz∈Rqq<p x,observe&ThickSpace;datax,observe\;datax,observedata z,latent&ThickSpace;variablez,latent...
【David Sontag】降维处理
weixin_42825609的博客
03-10 107
本课件主要内容包括： 较低维度的投影 哪种投影更好？ 向量投影 最大化投影方差 基本PCA算法 PCA示例 PCA降维 脸形特征 脸形特征重建 SVD 基于SVD算法的PCA 非线性方法 等距映射 完整课件下载地址： http://page2.dfpan.com/fs/flc5j2021a2921697a7/ 更多精彩文章请关注微信号：...
HMM总结（直观理解）
qq_26336495的博客
12-06 791
一句话：它是双层的马尔科夫模型，观测序列和隐含序列（由于马尔科夫链具有弊端：只能得到当前的信息不能得到整体的信息），所以加了隐含序列。当前的隐含序列的输出由当前的观测序列和上一个隐含序列的输出两个因素决定。   两个假： 1） 齐次马尔科夫链假设。即任意时刻的隐藏状态只依赖于它前一个隐藏状态 2） 观测独立性假设。即任意时刻的观察状态只仅仅依赖于当前时刻的隐藏状态   模型三元素：λ=...
PCA降维方法（一）
littleboy__的博客
10-29 1959
总结了PCA方法的原理, 算法, 模块划分及其相关应用。举例分析了其在HNR数据中的降维效果。 背景 机器学习在现实应用中，遇到的需要训练的属性维数常常是成千上万维的，要满足密采样条件所需的样本数目是无法达到的天文数字。此外，许多学习方法也需要计算其距离，而高维空间的距离常常是麻烦的，上述两点也正是很多机器学习方法共同面临的严重障碍，被称为“维数灾难”。缓解维数灾难的一个有效途径是降维。 在降维方...
特征向量降维常见的几种方法
热门推荐
JC的博客
08-04 1万+
高纬度特征带来的问题 这里就简单描述下。 通常我们会使用特征训练模型或特征矩阵求相似度。高维的特征带来的计算成本非常大，甚至完不成。同时一般高维的特征都比较稀疏，直接使用高维的特征训练需要样本量很大，难以拟合，模型效果不好。 训练模型时特征的筛选 通常我们训练模型时，会人为挑选特征，控制每类特征维度范围，比如年龄我们使用one-hot的方式表示，分成0-10，10-20...，&amp;gt;10...
白板推导机器学习--绪论
Harrytsz的博客
03-13 565
1.绪论——学习资料介绍 频率派 —— 统计机器学习 贝叶斯派 —— 概率图模型 参考书推荐： 1.李航 《统计学习方法》 感K朴决逻，支提E隐条 ————&gt; 统计机器学习 2.周志华 《机器学习》西瓜书 3.PRML《模式识别与机器学习》 主要是以贝叶斯的角度： 回分神核稀，图混近采连 顺 组 4.MLAPP 《以概率的视角去看机器学习》 百科全书似的，主要以贝叶斯角度 5.E...
深入理解VAE(变分自编码器)
choose_c的博客
10-07 1万+
原文地址：https://pan.baidu.com/s/1LNolV-_SZcEhV0vz2RkDRQ； 本文进行翻译和总结。 VAE VAE是两种主要神经网络生成模型中的一种，另一种典型的方法是GAN。VAE是一种自编码器，在训练时将数据编码成正则化的隐层分布，该隐层分布可以生成新的数据。其中,"变分"一词来自正则化和统计学中变分推断的关系。 本文想要解决的问题： 1.什么是自...
data2vec: A General Framework for Self-supervised Learning in Speech,Vision and Language
choose_c的博客
03-07 3456
abstract 不同模态下的自监督学习的总体思想一致，但是在实际过程中的算法和目标却有很大的不同。 data2vec是一个语音、nlp、cv不同领域下通用的自监督学习框架。 其主要的思想是：在标准的Transformer结构下，对数据进行 mask 后，使用 自蒸馏 方法，预测 隐性表示。 该方法预测了整个输入的上下文隐性表示，而不同于在单模态下的预测某个单元(word、visual token、speech unit)的局部信息。 ps：首先目前来说transf...
2021年SVM公式推导：线性与软间隔支持向量机详解
支持向量机（SVM）是一种强大的监督学习模型，特别适用于分类和回归分析，尤其在处理高维数据和非线性问题时表现出色。这个PPT文档主要涵盖了以下几个关键知识点： 1. 二分类问题：SVM的目标是找到一个超平面，能够...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值