![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 87
weixin_46125345
这个作者很懒,什么都没留下…
展开
-
16 粒子滤波:Particle Filter
16 粒子滤波:Particle FilterDynamic Model 是在概率图模型中加入了时序的因素,所以样本之间不再是独立同分布(i.i.d) 的,而是有依赖关系的。而Dynamic Model 的一个主要特点是,混合模型。因为,我们看到的都是观测变量序列,而每一个观测变量都对应着一个隐变量,隐变量也被称之为系统变量(System Variable),所以有时我们也将Dynamic Model 称之为State Space Model。而Dynamic Model 我们可以从两个假设,两个方程,三原创 2021-11-23 10:04:21 · 639 阅读 · 0 评论 -
12 变分推断(Variational Inference)
12 变分推断(Variational Inference)1 背景1.1 优化问题(概率角度)1.1.1 回归1.1.2 SVM (Classification)1.1.3 EM 算法1.2 积分问题(贝叶斯角度)1.3 Inference2 公式推导2.1 公式化简2.2 模型求解3 回顾3.1 数学符号规范化3.2 迭代算法求解3.3 Mean Field Theory 的存在问题4 SGVI:Stochastic Gradient Variational Inference4.1 SGVI 参数规范原创 2021-11-19 12:50:37 · 562 阅读 · 0 评论 -
11 高斯混合模型:GMM
11 高斯混合模型:GMM1 模型介绍1.1 从几何的角度看1.2 从混合模型角度来看(生成模型)2 极大似然估计:Maximum Likelihood Estimation2.1 Maximum Likelihood Estimation 求解参数2.2 MLE 的问题3 EM进行求解3.1 E-Step3.2 M-Step这一章开始,我们将进入到Guassian Mixture Model (GMM) 的学习。而为什么要学习GMM 呢?这是因为单峰分布已经不能准备的反映数据的分布了。正如下面的一个分布原创 2021-11-19 12:49:55 · 682 阅读 · 0 评论 -
10 最大期望(EM)
10 最大期望(EM)1 EM 算法简述以及收敛性证明1.1 EM 算法简述1.2 EM 算法的收敛性2 导出公式2.1 从KL Divergence 进行分析2.2 从Jensen Inequality 的角度进行分析2.3 小结3 广义EM3.1 极大似然估计3.2 广义的EM 算法3.3 坐标上升法Expectation Maximization (EM) 算法,中文名字叫做“期望最大”算法,是用来解决具有隐变量的混合模型的参数估计(即其极大似然估计)。在比较简单的情况中,我们可以直接得出我们想要求原创 2021-11-19 12:49:07 · 335 阅读 · 0 评论 -
9 概率图模型
9 概率图模型1 背景1.1 概率的基本性质1.2 条件独立性1.3 概率图的算法分类1.3.1 Representation1.3.2 Inference1.3.3 Learning2 有向图-贝叶斯网络 Bayesian Network2.1 概率图的三种基本结构2.1.1 Tail to Tail 结构2.1.2 Head to Tail 结构2.1.3 Head to Head 结构2.1.4 三种结构对比2.2 D-Separation2.2.1 D-separation2.2.2 Markov原创 2021-11-19 12:48:12 · 434 阅读 · 0 评论 -
8 深入了解:指数族分布
8 深入了解:指数族分布1 背景1.1 三大性质1.2 三大重要应用2 高斯分布的指数形式3 对数配分函数 A(η)A(\eta)A(η) 和充分统计量 ϕ(x)\phi(x)ϕ(x) 的关系4 极大似然估计和充分统计量 ϕ(x)\phi(x)ϕ(x)5 最大熵角度5.1 无约束时的最大熵5.2 有约束时的最大熵1 背景指数族是一类分布,包括高斯分布、伯努利分布、二项分布、泊松分布、Beta 分布、Dirichlet 分布、Gamma 分布等一系列分布。指数族分布可以写为统一的形式: p(x∣η)=h(原创 2021-11-18 10:30:33 · 335 阅读 · 0 评论 -
7 核方法
7 核方法1 背景1.1 Kernel Method1.2 Kernel Function1.3 Kernel Track2 正定核的定义2.1 核函数的定义2.2 正定核的定义2.2.1 第一个定义2.2.2 第二个定义2.2.3 Hilbert Space: H\mathcal{H}H2.2.4 证明2.2.4.1 充分性证明2.2.4.2必要性证明3 小结在Support Vector Machine的章节中, 我们已经分析了支持向量机前面“两宝”,也就是间隔和对偶,而第三宝,核技巧在这里我们需要转载 2021-11-18 09:13:01 · 90 阅读 · 0 评论 -
6 深入浅出:支持向量机
6 深入浅出:支持向量机1 硬间隔SVM1.1 模型定义1.1 模型求解:引出对偶问题1.1.1 primal problem原问题1.1.2 dual problem 对偶问题1.1.3 KKT条件1.2 软间隔SVM1.3 约束优化问题1.3.1 弱对偶性证明1.3.2 对偶关系的几何表达1.3.3 对偶关系的Slater Condition的解释1.3.3 对偶关系的KKT条件支撑向量机(SVM)算法在分类问题中有着重要地位,其主要思想是最大化两类之间的间隔。按照数据集的特点:线性可分问题,如之转载 2021-11-17 21:12:24 · 75 阅读 · 0 评论 -
5 降维 Dimention Reduction
5 降维 Dimention Reduction1 线性降维-主成分分析 PCA1.1 最大投影方差1.2 最小重构代价1.3 从SVD 角度看PCA与PCoA1.4 从概率角度看PCA:p-PCA小结我们知道,解决过拟合的问题除了正则化和添加数据之外,降维就是最好的方法。降维的思路来源于维度灾难的问题,从几何角度来看,我们知道 nnn 维球的体积为: CRnCR^nCRn 那么在球体积与边长为 2R2R2R 的超立方体比值为: limn→0CRn2nRn=0\lim\limits_{n\rightar转载 2021-11-17 08:53:50 · 194 阅读 · 0 评论 -
4 线性分类
4 线性分类1 硬分类-两分类1.1 感知机算法 Perception1.2 线性判别分析(Linear Discriminant Analysis,LDA或者Fisher判别分析)2 软输出2.1 概率判别模型:逻辑回归 Logistics Regression2.2 概率生成模型2.2.1 高斯判别分析 GDA2.2.2 朴素贝叶斯 Naive Bayes3 小结对于分类任务,线性回归模型就无能为力了,但是我们可以在线性模型的函数进行后再加入一层激活函数,这个函数是非线性的,激活函数的反函数叫做链接函转载 2021-11-16 21:54:51 · 60 阅读 · 0 评论 -
3 线性回归:最小二乘法与正则化
3 线性回归:最小二乘法与正则化1 最小二乘法及其几何意义2 概率角度:噪声为高斯分布的 MLE3 正则化3.1 L1 Lasso3.2 L2 Ridge(岭回归)或权值衰减(频率角度来看)4 贝叶斯角度:权重先验也为高斯分布的 MAP5 小结假设数据集为: D=(x1,y1),(x2,y2),⋯ ,(xN,yN)\mathcal{D}={(x_1, y_1),(x_2, y_2),\cdots,(x_N, y_{N})}D=(x1,y1),(x2,y2),⋯,(xN,yN) 后面我们记: X转载 2021-11-16 17:12:46 · 220 阅读 · 0 评论 -
17 条件随机场:CRF
条件随机场(一):CRF1 Introduction2 Background2.1 硬分类(Hard classification)2.2 软分类 (Soft classification)2.2.1 概率判别模型2.2.2 概率生成模型2.3 小结3 HMM VS MEMM3.1 Hidden Markov Model3.2 Maximum Entropy Markov Model4 MEMM VS CRF4.1 MEMM 中的Label Bias Problem4.1.1 Label Bias Prob原创 2021-12-07 10:47:21 · 240 阅读 · 0 评论 -
15 线性动态系统——kalman filter
线性动态系统——kalman filter1 背景1.1 Dynamic Model Introduction1.2 Kalman Filtering: Linear Gaussian Model2 建模和求解2.1 Filtering 问题思路2.2 Filtering 问题求解具体分析2.2.1 Prediction2.2.2 Update我们知道在概率图模型中,加入了time 的因素,就得到了Dynamic Model,实际上也就说我们通常所说的State Space Model。如果状态是离原创 2021-11-23 10:02:13 · 683 阅读 · 0 评论 -
14 隐马尔可夫模型HMM(Hidden Markov Model)
隐马尔可夫模型HMM(Hidden Markov Model)1 背景1.1 概率图模型回顾1.2 HMM 算法简介1.2.1 两个假设1.2.2 三个问题1.3 什么样的问题需要HMM模型2 Evaluation2.1 模型求解2.2 Forward Algorithm2.3 Backward Algorithm3 Learning3.1 Learning:已知 OOO,求 λ\lambdaλ3.2 求 π(t+1)\pi^{(t+1)}π(t+1)3.2.1 拉格朗日乘子法求解3.3 求 A(t+1)A原创 2021-11-23 09:17:24 · 267 阅读 · 0 评论 -
13 MCMC(Markov Chain Monte Carlo)
MCMC(Markov Chain Monte Carlo)1 采样方法1.1概率分布采样1.2 拒绝采样(Rejection Sampling)1.3 重要性采样(Importance Sampling)1.4 重要性重采样(Sampling Importance Resampling)2 Markov Chain2.1 基础概念介绍2.2 平稳分布(Stationary Distribution)3 MH采样(Metropolis Hastings Sampling)3.1 Proposal Matri原创 2021-11-22 22:08:26 · 545 阅读 · 0 评论 -
11 高斯混合模型:GMM
高斯混合模型:GMM1 模型介绍1.1 从几何的角度看1.2 从混合模型角度来看(生成模型)2 极大似然估计:Maximum Likelihood Estimation2.1 Maximum Likelihood Estimation 求解参数2.2 MLE 的问题3 EM进行求解3.1 E-Step3.2 M-Step这一章开始,我们将进入到Guassian Mixture Model (GMM) 的学习。而为什么要学习GMM 呢?这是因为单峰分布已经不能准备的反映数据的分布了。正如下面的一个分布:转载 2021-11-03 10:25:05 · 351 阅读 · 0 评论 -
10 最大期望(EM)
最大期望(EM)1 EM 算法简述以及收敛性证明1.1 EM 算法简述1.2 EM 算法的收敛性2 导出公式2.1 从KL Divergence 进行分析2.2 从Jensen Inequality 的角度进行分析2.3 小结3 广义EM3.1 极大似然估计3.2 广义的EM 算法3.3 坐标上升法Expectation Maximization (EM) 算法,中文名字叫做“期望最大”算法,是用来解决具有隐变量的混合模型的参数估计(极大似然估计)。在比较简单的情况中,我们可以直接得出我们想要求得的参数的转载 2021-11-02 22:14:56 · 68 阅读 · 0 评论 -
9 概率图模型
概率图模型转载 2021-11-02 20:12:54 · 120 阅读 · 0 评论