机器学习-白板推导
文章平均质量分 67
hanhan不是很憨憨
一只hanhan
展开
-
29 深度玻尔兹曼机
过去在解决BM问题的时候,提出过多种模型:RBM、SBN、DBN其中RBM是一种有限制条件的,简化的BM,限制了隐藏层和观测层内部都没有连接。实质上是一种特殊的BM。SBN实际上就是一种多层的有向图结构,是为了方便我们通过sigmoid函数采样构造出来的。DBN本质上是想通过叠加RBM实现多层结构,但是由于条件限制,使得DBN的实际结构为RBM+SBN,所以DBN实际上并非一个BM而现在的DBM则是实际的多层RBM结构,也是一种特殊的BM。原创 2023-08-15 23:53:48 · 389 阅读 · 0 评论 -
28 玻尔兹曼机
文章目录28 玻尔兹曼机28.1 模型定义28.2 梯度推导28.3 梯度上升28.4 基于VI[平均场理论]求解后验概率28 玻尔兹曼机28.1 模型定义玻尔兹曼机是一张无向图,其中的隐节点和观测节点可以有任意连接如下图:我们给其中的节点、连线做出一些定义:节点:观测节点V={0,1}DV = {\lbrace 0, 1 \rbrace}^DV={0,1}D,隐节点H={0,1}PH = {\lbrace 0, 1 \rbrace}^PH={0,1}P连线:观测节点之间L=[Lij]D×D原创 2023-08-11 17:29:03 · 248 阅读 · 0 评论 -
27 Deep Belief Network
通过这种方法最后的得到的DBN方便采样:可以在最上层的RBM使用Gibbs采样,再通过SBN对有向图的方法采样下来。原先最下层的无向图变为有向图是因为我们的条件是固定住。通过以上内容我们就可以得到一个DBN的联合概率公式。如果我们想要将结果的精度再进行提升,我们肯定要将。根据(以上变换)+(上文所说我们可以固定。通过这种方法我们就可以提高。的方向,如此我们可以叠加很多层。中的一部分提高,则我们可以写出的。其中的v就是我们的训练样本。就是prior,我们会求得。重新建模,在上面加一层。原创 2023-07-20 14:42:33 · 276 阅读 · 0 评论 -
26 sigmoid Belief Network
什么是Sigmoid Belief Network?Belief Network等同于Bayesian Network,表示有向图模型。sigmoid指sigmoid函数,具体表示为σx11exp−xσx1exp−x1。具体举一个Sigmoid Belief Network的例子:一个Sigmoid Belief Network如上图所示,由一个数据层与多个隐藏层组成,每层之间都没有直接的连接关系。原创 2023-07-15 15:15:51 · 249 阅读 · 0 评论 -
25 近似推断
我们可以将概率图模型中的推断问题转化成一个优化问题,这里我们简单推导来证明一下。首先我们已知目标是要求log-likelihood,假设。,在这一章中我们已经使用过,这里就简单复习一下。log-likelihood可以写作。若此时我们在左右同时乘一个。推断为什么是困难的?原创 2023-07-13 15:52:28 · 156 阅读 · 0 评论 -
24 直面配分函数——Confronting Partition Function
文章目录24 直面配分函数——Confronting Partition Function24.1 Stochastic Gradient of log-likelihood——log配分函数在随机梯度上升中的应用24.2 CD——Contrastive Divergence24.2.1 CD简述24.2.2 CD的由来——CD Learning24.3 RBM Learning24 直面配分函数——Confronting Partition Function24.1 Stochastic Gradie原创 2023-07-11 17:39:19 · 299 阅读 · 0 评论 -
23 前馈神经网络——Feedforward Neural Network
方法一——非线性转换:通过设计非线性转换的函数,将数据转换到高维空间使得线性可分。神经网络也是从机器学习中拓展而出。这样我们就可以通过或与非的三种运算,通过多层的结构得到异或的表达方式。方法三——神经网络:MLP(FNN),通过有向无环图实现的复合函数。方法二——核方法:在核函数中隐含了一个非线性转换。为什么要开始应用深度学习呢?原创 2023-06-17 16:45:10 · 496 阅读 · 0 评论 -
22 谱聚类——Spectral Clustering
将聚集在一起的点进行聚类(离得近的为同一类数据),例如可以线性分类的一组数据。将具有联通性的一堆点进行聚类,如环形等线性不可分的数据。(这种其实在一定情况下也可以通过Kernel+K-Mean实现——进行非线性转换)Spectral Clustering实际上可以表示为一个带权重的无向图。先给这张图做一个定义:GVEV12NWwij1≤ij≤NGVEV12NWwij1≤ij≤N其中WWW。原创 2023-06-17 16:09:04 · 749 阅读 · 0 评论 -
21 RBM(Restricted Boltzmann Machine)——受限玻尔兹曼机
文章目录21 RBM(Restricted Boltzmann Machine)——受限玻尔兹曼机21.1 背景介绍22.2 RBM模型表示22.3 Inference问题22.4 Marginal问题21 RBM(Restricted Boltzmann Machine)——受限玻尔兹曼机21.1 背景介绍什么是玻尔兹曼机:简单来说就是具有条件的Markov Random Field(一个无向图模型)什么条件呢?加入了隐状态——使得无向图的节点分成两类:观测变量(observed variab原创 2023-06-15 19:27:31 · 418 阅读 · 0 评论 -
20 Gaussian Process Regression——高斯过程回归
高斯过程中,高斯是指Gaussian Distribution,过程就是指随机过程。PxNμσ2PxNμσ2多维高斯(Multivariate Gaussian Distribution)⟺\iff⟺PxNμΣp×pPxNμΣp×p无限维高斯⟺\iff⟺高斯过程高斯过程是定义在连续域(如时间轴)上的无限多个高维随机变量所组成的随机过程。若在实际情况中,我们可以写成:在一个连续域T中(以时间轴为例),对于∀n∈N∀n。原创 2023-06-12 19:55:43 · 822 阅读 · 0 评论 -
19 贝叶斯线性回归
表示一个未知的常量,转化为优化问题进行求解。表示为Gaussian Dist则为岭回归(Ridge),若。我们可以通过二次项和一次项求出均值和方差。Prediction问题是假设已有数据为。在频率派的线性回归中,我们是通过假设。表示为Laplace则为Lasso。都是随机变量,假设用于表示参数。,可以根据参数的分布得到。的二次项和一次项,假设。让我们用配方法,取出。原创 2023-06-11 11:29:59 · 643 阅读 · 0 评论 -
18 高斯网络
Gaussian Network——连续性的概率图模型:高斯网络的特点有:假设每个节点通过xix_ixixi∽NμiΣixi∽NμiΣi。一张高斯图可以表示为Xx1x2xpTXx1x2xpTpx12πp2∣Σ∣12⋅exp−12x−μTΣ−1x−μpx2π2p∣Σ∣211⋅exp−21x。原创 2023-06-10 15:38:50 · 1094 阅读 · 0 评论 -
17 条件随机场
文章目录17 条件随机场——CRF(Condition Random Field)17.1 背景介绍17.2 HMM与MEMM的区别17.3 MEMM与CRF的区别17.4 CRF模型17.4.1 CRF的概率密度函数17.4.2 CRF概率密度函数简化(向量形式)17.5 CRF需要解决的问题17.6 边缘概率计算——marginal问题17.7 参数估计——Learning问题17 条件随机场——CRF(Condition Random Field)17.1 背景介绍从分类问题开始探讨,分类问题包原创 2023-06-09 17:46:29 · 1395 阅读 · 0 评论 -
16 粒子滤波
HMM——关注Decoding问题Linear Dynamic System——关注Filtering问题Patricle Filter——Nan-Linear,Nan-Gauss,关注Filtering问题结合:重要性采样方法+SIS+Resampling,就是简单的粒子滤波求解方案:Basic Particle Filter。原创 2023-06-09 17:45:56 · 690 阅读 · 0 评论 -
15 线性动态系统-Linear Dynamic System-Kalman Filter【Xmind笔记】
文章目录15 线性动态系统-Linear Dynamic System-Kalman Filter【Xmind笔记】15 线性动态系统-Linear Dynamic System-Kalman Filter【Xmind笔记】原创 2023-06-09 17:43:14 · 101 阅读 · 0 评论 -
14 HMM【手写+Xmind笔记】
文章目录14 HMM【手写+Xmind笔记】14.1 Xmind笔记14.2 手写证明14 HMM【手写+Xmind笔记】14.1 Xmind笔记14.2 手写证明原创 2023-06-09 17:41:53 · 123 阅读 · 0 评论 -
13 MCMC——马尔可夫链蒙特卡洛
首先简单介绍一下Monte Carlo方法:Monte Carlo Method是基于采样的随即近似方法。假如存在NNN个样本Z1ZNZ1ZNPZ∣X→EZ∣XfZ∫ZfZ⋅PZ∣XdZ≈1N∑i1NfZiPZ∣X→EZ∣XfZ)]∫ZfZ⋅PZ∣XdZ≈N1i1∑NfZi同时给出一个最基本的条件:我们认为样本u∽U01u。原创 2023-06-09 17:38:13 · 2310 阅读 · 0 评论 -
12 VI——变分推断
文章目录12 VI——变分推断12.1 背景介绍12.2 Classical VI12.2.1 公式导出12.2.2 坐标上升法12.3 SGVI——随机梯度变分推断12.3.1 一般化MC方法12.3.2 降方差——Variance Reduction12 VI——变分推断12.1 背景介绍变分推断的作用就是在概率图模型中进行参数估计,是参数估计的一种确定性近似的方法。下图给出了VI在机器学习中的地位:12.2 Classical VI12.2.1 公式导出首先第一个问题,变分推断中的变分是原创 2023-06-09 17:36:05 · 1435 阅读 · 0 评论 -
11 GMM——高斯混合模型
从几何角度来说:高斯混合模型表示:加权平均——由多个高斯分布混合叠加而成,如图px∑i1Kαi⋅Nx∣μiΣi∑i1Kαi1pxi1∑Kαi⋅Nx∣μiΣii1∑Kαi1若从混合模型的角度来说:xXxii1NzZzii1Nz∈C1C2CKPz∈p1p2pKxXxii1NzZzii1N。原创 2023-06-09 17:32:44 · 1616 阅读 · 0 评论 -
10 EM(期望最大)算法
概率图模型中,两个核心问题:学习参数、求解后验分布。EM算法就是一种通过MLE求出参数近似解的方法。原创 2023-06-01 17:26:05 · 577 阅读 · 0 评论 -
9 概率图模型【手写笔记】
简单来说,概率图由“概率”与“图”组成为了方便图上的概率计算,本文将图分为几类,同时为每种图定义了一些性质。原创 2023-06-01 15:46:28 · 568 阅读 · 0 评论 -
8 指数族分布【手写+Xmind笔记】
文章目录8 指数族分布【手写+Xmind笔记】8.1 Xmind笔记8.2 手写证明8 指数族分布【手写+Xmind笔记】8.1 Xmind笔记8.2 手写证明原创 2023-06-01 15:02:10 · 78 阅读 · 0 评论 -
7 核方法【手写+Xmind笔记】
文章目录7 核方法【手写+Xmind笔记】7.1 Xmind笔记7.2 手写证明7 核方法【手写+Xmind笔记】7.1 Xmind笔记7.2 手写证明原创 2023-06-01 15:00:55 · 514 阅读 · 0 评论 -
6 SVM支持向量机【手写+Xmind笔记】
文章目录6 SVM支持向量机【手写+Xmind笔记】6.1 Xmind笔记6.2 手写证明6 SVM支持向量机【手写+Xmind笔记】6.1 Xmind笔记6.2 手写证明原创 2023-06-01 15:01:41 · 102 阅读 · 0 评论 -
5 降维【手写+Xmind笔记】
文章目录5 降维【手写+Xmind笔记】5.1 Xmind笔记5.2 手写证明5 降维【手写+Xmind笔记】5.1 Xmind笔记5.2 手写证明原创 2023-06-01 15:00:43 · 119 阅读 · 0 评论 -
4 线性分类【手写+Xmind笔记】
文章目录4 线性分类【手写+Xmind笔记】4.1 Xmind笔记4.2 手写证明4 线性分类【手写+Xmind笔记】4.1 Xmind笔记4.2 手写证明原创 2023-06-01 14:58:28 · 64 阅读 · 0 评论 -
3 线性回归【手写+Xmind笔记】
文章目录3 线性回归【手写+Xmind笔记】3.1 Xmind笔记3.2 手写证明3 线性回归【手写+Xmind笔记】3.1 Xmind笔记3.2 手写证明原创 2023-06-01 14:58:13 · 93 阅读 · 0 评论 -
2 高斯分布【手写+Xmind笔记】
文章目录2 高斯分布【手写+Xmind笔记】2.1 Xmind笔记2.2 手写证明2 高斯分布【手写+Xmind笔记】2.1 Xmind笔记2.2 手写证明原创 2023-06-01 14:56:02 · 64 阅读 · 0 评论 -
1 绪论【Xmind笔记】
文章目录1 绪论【Xmind笔记】1 绪论【Xmind笔记】原创 2023-06-01 14:54:57 · 51 阅读 · 0 评论