- 博客(4)
- 收藏
- 关注
RSS订阅原创 HMM
隐马尔可夫模型概率图分为静态和动态两种，其中静态概率图可根据是否有向分为无向的贝叶斯网络和有向的马尔可夫随机场，而动态模型即有HMM,Kalman Filter和Particle Filter。HMM事实上是高斯混合模型的时间序列，各个观测变量xix_ixi之间并不是独立同分布的关系。而状态变量ziz_izi之间则是一个马尔可夫链。根据上图，隐马尔可夫模型的观测变量ooo为o1,o2,……,ot,……o_1,o_2,……,o_t,……o1,o2,……,ot,……，观测空间为V={v1,v2
2020-11-08 20:02:35
107
原创 Kernel Method
核方法核方法利用映射ϕ(x)\phi(x)ϕ(x)将输入空间X\mathcal{X}X转换为特征空间Z\mathcal{Z}Z。从模型角度上看，核方法的非线性带来了高维转换，即x→ϕ(x)x\rightarrow\phi(x)x→ϕ(x) ，从而利用高维比低维更容易线性可分的优点，来对模型进行调整。从优化的角度上看，核方法带来了内积，即xiTxj→k(xi,xj)=ϕ(xi)Tϕ(xj)x_i^Tx_j \rightarrow k(x_i,x_j)=\phi(x_i)^T\phi(x_j)xiTxj
2020-11-08 18:13:14
113
原创 GMM算法
高斯混合模型高斯混合模型是一种生成模型，从几何角度来看，可视为数据的概率密度函数为多个高斯分布的加权平均，即：p(x)=∑k=1KαkN(x∣μk,Σk)∑k=1Kαk=1\begin{aligned}p(x)=\sum_{k=1}^{K}&\alpha_kN(x|\mu_k,\Sigma_k)\\\sum_{k=1}^K\alpha_k &= 1\end{aligned}p(x)=k=1∑Kk=1∑KαkαkN(x∣μk,Σk)=1从混合模型上看，x为observ
2020-10-09 10:21:25
300
原创 EM算法
EM算法主要解决含有隐变量（latent representation）的参数估计问题。一般求解参数我们会使用极大似然估计（MLE），即对于条件概率P(x∣θ)P(x| \theta)P(x∣θ),通过θMLE=arg maxθlogP(x∣θ)\theta_{MLE} = \argmax_{\theta}\log P(x|\theta)θMLE=θargmaxlogP(x∣θ)，来求解参数。但对于高斯混合模型这种带有隐变量的复杂的模型，无法直接通过MLE进行参数求解，需要通过EM算法进行迭
2020-09-20 17:26:30
105
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人