Mathematics for machine learning
文章平均质量分 78
Bernard_Yang
致力将晦涩难懂的东西讲明白
展开
-
变分自编码器VAE
本文图片和公式统一和原始paper保持一致Auto-Encoding Variational Bayes问题描述考虑数据集 X={x(i)}i=1N\mathbf{X}=\left\{\mathbf{x}^{(i)}\right\}_{i=1}^{N}X={x(i)}i=1N包括 NNN 个 独立的来自连续或离散变量x\mathrm{x}x的样本. 该变量由 z\mathbf{z}z生成,有以下两个步骤z(i)\mathbf{z}^{(i)}z(i) 由先验概率pθ∗(z)p_{\boldsy原创 2021-11-10 22:17:53 · 787 阅读 · 0 评论 -
Expectation Maximization 期望最大算法
目标EM算法是为了找到含有隐变量的模型的最大似然解,Z为隐变量极大似然的对数解如下所示lnp(X∣θ)=ln{∑Zp(X,Z∣θ)}\ln p(\mathbf{X} \mid \theta)=\ln \left\{\sum_{Z} p(\mathbf{X}, \mathbf{Z} \mid \theta)\right\}lnp(X∣θ)=ln{Z∑p(X,Z∣θ)}总体流程我们考虑隐变量在后验分布lnp(Z∣X,θ)\ln p(\mathbf{Z} \mid \mathbf{X}.原创 2021-07-27 07:28:19 · 232 阅读 · 0 评论 -
马尔可夫蒙特卡洛(MCMC)-从平稳分布,细致平衡到Metropolis-Hastings和Gibbs采样
Metropolis-Hastings原创 2021-05-01 05:46:33 · 2737 阅读 · 8 评论 -
主成分分析(PCA) 基于最大投影方差和最小重构距离
主要思想主成分分析对原始高维空间进行线性变换,将所有数据投影到一个低维度子空间中,从而达到降维的目标。为了寻找这 个子空间,我们基本想法是:最大可分性:样本在这个超平面的投影尽可能分得开最近重构性:样本点到超平面的距离足够近基于最近重构性目标:为了使得样本点到超平面的距离足够近假如数据集是n维的,共有m个数据(x(1),x(2),…,x(m))(x^{(1)}, x^{(2)}, \dots, x^{(m)})(x(1),x(2),…,x(m)),原坐标系为 {w1,w2,…,wn原创 2021-04-04 20:22:37 · 2737 阅读 · 1 评论 -
奇异值分解(SVD)原理及直观理解
SVD定理A是mxn维矩阵,根据svd定理可以被表示为A=UΣVTA = U\Sigma V^TA=UΣVT其中UUU为mxm维正交矩阵,VVV为nxn维正交矩阵,Σ\SigmaΣ为mxn维矩阵,其rxr维的submatrix对角线元素为A矩阵的奇异值,r为A矩阵的rank,表示线性无关的行或列的个数。直观理解如下图所示A可以被表示成一组连续的transformation,该过程可以被分解成先后应用VT,Σ,UV^T, \Sigma, UVT,Σ,U三个transformations。VT.原创 2021-03-29 00:04:10 · 791 阅读 · 0 评论