weixin_46125345的博客

条件随机场（一）：CRF1 Introduction2 Background2.1 硬分类(Hard classification)2.2 软分类 (Soft classification)2.2.1 概率判别模型2.2.2 概率生成模型2.3 小结3 HMM VS MEMM3.1 Hidden Markov Model3.2 Maximum Entropy Markov Model4 MEMM VS CRF4.1 MEMM 中的Label Bias Problem4.1.1 Label Bias Prob

16 粒子滤波：Particle FilterDynamic Model 是在概率图模型中加入了时序的因素，所以样本之间不再是独立同分布(i.i.d) 的，而是有依赖关系的。而Dynamic Model 的一个主要特点是，混合模型。因为，我们看到的都是观测变量序列，而每一个观测变量都对应着一个隐变量，隐变量也被称之为系统变量(System Variable)，所以有时我们也将Dynamic Model 称之为State Space Model。而Dynamic Model 我们可以从两个假设，两个方程，三

线性动态系统——kalman filter1 背景1.1 Dynamic Model Introduction1.2 Kalman Filtering: Linear Gaussian Model2 建模和求解2.1 Filtering 问题思路2.2 Filtering 问题求解具体分析2.2.1 Prediction2.2.2 Update我们知道在概率图模型中，加入了time 的因素，就得到了Dynamic Model，实际上也就说我们通常所说的State Space Model。如果状态是离

隐马尔可夫模型HMM（Hidden Markov Model）1 背景1.1 概率图模型回顾1.2 HMM 算法简介1.2.1 两个假设1.2.2 三个问题1.3 什么样的问题需要HMM模型2 Evaluation2.1 模型求解2.2 Forward Algorithm2.3 Backward Algorithm3 Learning3.1 Learning:已知 OOO，求 λ\lambdaλ3.2 求 π(t+1)\pi^{(t+1)}π(t+1)3.2.1 拉格朗日乘子法求解3.3 求 A(t+1)A

MCMC（Markov Chain Monte Carlo）1 采样方法1.1概率分布采样1.2 拒绝采样(Rejection Sampling)1.3 重要性采样(Importance Sampling)1.4 重要性重采样(Sampling Importance Resampling)2 Markov Chain2.1 基础概念介绍2.2 平稳分布(Stationary Distribution)3 MH采样（Metropolis Hastings Sampling）3.1 Proposal Matri

12 变分推断（Variational Inference）1 背景1.1 优化问题（概率角度）1.1.1 回归1.1.2 SVM (Classification)1.1.3 EM 算法1.2 积分问题（贝叶斯角度）1.3 Inference2 公式推导2.1 公式化简2.2 模型求解3 回顾3.1 数学符号规范化3.2 迭代算法求解3.3 Mean Field Theory 的存在问题4 SGVI：Stochastic Gradient Variational Inference4.1 SGVI 参数规范

11 高斯混合模型：GMM1 模型介绍1.1 从几何的角度看1.2 从混合模型角度来看(生成模型)2 极大似然估计：Maximum Likelihood Estimation2.1 Maximum Likelihood Estimation 求解参数2.2 MLE 的问题3 EM进行求解3.1 E-Step3.2 M-Step这一章开始，我们将进入到Guassian Mixture Model (GMM) 的学习。而为什么要学习GMM 呢？这是因为单峰分布已经不能准备的反映数据的分布了。正如下面的一个分布

10 最大期望（EM）1 EM 算法简述以及收敛性证明1.1 EM 算法简述1.2 EM 算法的收敛性2 导出公式2.1 从KL Divergence 进行分析2.2 从Jensen Inequality 的角度进行分析2.3 小结3 广义EM3.1 极大似然估计3.2 广义的EM 算法3.3 坐标上升法Expectation Maximization (EM) 算法，中文名字叫做“期望最大”算法，是用来解决具有隐变量的混合模型的参数估计（即其极大似然估计）。在比较简单的情况中，我们可以直接得出我们想要求

9 概率图模型1 背景1.1 概率的基本性质1.2 条件独立性1.3 概率图的算法分类1.3.1 Representation1.3.2 Inference1.3.3 Learning2 有向图-贝叶斯网络 Bayesian Network2.1 概率图的三种基本结构2.1.1 Tail to Tail 结构2.1.2 Head to Tail 结构2.1.3 Head to Head 结构2.1.4 三种结构对比2.2 D-Separation2.2.1 D-separation2.2.2 Markov

8 深入了解：指数族分布1 背景1.1 三大性质1.2 三大重要应用2 高斯分布的指数形式3 对数配分函数 A(η)A(\eta)A(η) 和充分统计量 ϕ(x)\phi(x)ϕ(x) 的关系4 极大似然估计和充分统计量 ϕ(x)\phi(x)ϕ(x)5 最大熵角度5.1 无约束时的最大熵5.2 有约束时的最大熵1 背景指数族是一类分布，包括高斯分布、伯努利分布、二项分布、泊松分布、Beta 分布、Dirichlet 分布、Gamma 分布等一系列分布。指数族分布可以写为统一的形式： p(x∣η)=h(

7 核方法1 背景1.1 Kernel Method1.2 Kernel Function1.3 Kernel Track2 正定核的定义2.1 核函数的定义2.2 正定核的定义2.2.1 第一个定义2.2.2 第二个定义2.2.3 Hilbert Space: H\mathcal{H}H2.2.4 证明2.2.4.1 充分性证明2.2.4.2必要性证明3 小结在Support Vector Machine的章节中， 我们已经分析了支持向量机前面“两宝”，也就是间隔和对偶，而第三宝，核技巧在这里我们需要

6 深入浅出：支持向量机1 硬间隔SVM1.1 模型定义1.1 模型求解：引出对偶问题1.1.1 primal problem原问题1.1.2 dual problem 对偶问题1.1.3 KKT条件1.2 软间隔SVM1.3 约束优化问题1.3.1 弱对偶性证明1.3.2 对偶关系的几何表达1.3.3 对偶关系的Slater Condition的解释1.3.3 对偶关系的KKT条件支撑向量机（SVM）算法在分类问题中有着重要地位，其主要思想是最大化两类之间的间隔。按照数据集的特点：线性可分问题，如之

5 降维 Dimention Reduction1 线性降维-主成分分析 PCA1.1 最大投影方差1.2 最小重构代价1.3 从SVD 角度看PCA与PCoA1.4 从概率角度看PCA：p-PCA小结我们知道，解决过拟合的问题除了正则化和添加数据之外，降维就是最好的方法。降维的思路来源于维度灾难的问题，从几何角度来看，我们知道 nnn 维球的体积为： CRnCR^nCRn 那么在球体积与边长为 2R2R2R 的超立方体比值为： lim⁡n→0CRn2nRn=0\lim\limits_{n\rightar

4 线性分类1 硬分类-两分类1.1 感知机算法 Perception1.2 线性判别分析（Linear Discriminant Analysis，LDA或者Fisher判别分析）2 软输出2.1 概率判别模型：逻辑回归 Logistics Regression2.2 概率生成模型2.2.1 高斯判别分析 GDA2.2.2 朴素贝叶斯 Naive Bayes3 小结对于分类任务，线性回归模型就无能为力了，但是我们可以在线性模型的函数进行后再加入一层激活函数，这个函数是非线性的，激活函数的反函数叫做链接函

3 线性回归：最小二乘法与正则化1 最小二乘法及其几何意义2 概率角度：噪声为高斯分布的 MLE3 正则化3.1 L1 Lasso3.2 L2 Ridge（岭回归）或权值衰减(频率角度来看)4 贝叶斯角度：权重先验也为高斯分布的 MAP5 小结假设数据集为： D=(x1,y1),(x2,y2),⋯ ,(xN,yN)\mathcal{D}={(x_1, y_1),(x_2, y_2),\cdots,(x_N, y_{N})}D=(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​) 后面我们记： X

高斯混合模型：GMM1 模型介绍1.1 从几何的角度看1.2 从混合模型角度来看(生成模型)2 极大似然估计：Maximum Likelihood Estimation2.1 Maximum Likelihood Estimation 求解参数2.2 MLE 的问题3 EM进行求解3.1 E-Step3.2 M-Step这一章开始，我们将进入到Guassian Mixture Model (GMM) 的学习。而为什么要学习GMM 呢？这是因为单峰分布已经不能准备的反映数据的分布了。正如下面的一个分布：

最大期望（EM）1 EM 算法简述以及收敛性证明1.1 EM 算法简述1.2 EM 算法的收敛性2 导出公式2.1 从KL Divergence 进行分析2.2 从Jensen Inequality 的角度进行分析2.3 小结3 广义EM3.1 极大似然估计3.2 广义的EM 算法3.3 坐标上升法Expectation Maximization (EM) 算法，中文名字叫做“期望最大”算法，是用来解决具有隐变量的混合模型的参数估计（极大似然估计）。在比较简单的情况中，我们可以直接得出我们想要求得的参数的

概率图模型

前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考一、pandas是什么？示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。二、使用步骤1.引入库代码如下（示例）：import numpy as npimport pandas as pdimport matplotlib.pyplot a

Transformer问题问题1.递归（循环）神经网络用于序列建模，比如语言建模和机器翻译，推动了循环语言模型和编码器-解码器体系结构的边界。但是递归神经网络由顺序计算的约束，所以提出注意力机制，不考虑输入输出序列中的距离，绘制全局依赖关系。语言建模和机器翻译数据的数据特点是什么？其他领域是否有类似的数据？序列型数据是否能用attention？是不是所有序列型数据都可以使用attention？什么情形下序列型数据需要attention来提升性能？attention是对于一条循环的序列来看待的