小树屋

目录马尔科夫随机场（MRF）条件随机场（CRF）区别记www为隐变量（label），xxx为观测变量（feature）。马尔科夫随机场（MRF）建模P(w,x)P(w,x)P(w,x)，例如同时建模P(w)P(w)P(w)和P(x∣w)P(x|w)P(x∣w)，其中P(w)=1Z∏j=1Jϕj(wCj)P(w)=\frac{1}{Z}\prod_{j=1}^{J} \phi_j (w_...

目录前向后向算法置信传播链式有向图前向过程反向过程计算边缘树模型无向图这本书把置信传播算法讲的非常清楚。所以这里mark一下。以下阅读请先知道链式有向图前后向算法的原理。前向后向算法记链式有向图隐变量为w1....Nw_{1.... N}w1....N​，已知的观测值为x1...Nx_{1...N}x1...N​.其中，前向函数fn(wn)=P(x1...n,wn)f_n(w_n)=P(x...

目录问题方法吉布斯采样后记以前对吉布斯采样一直很迷，今天把它弄清楚！问题采样即从待推断的环境中获取样本。对于有向图模型，可以通过原始采样法（ancestral sampling），即按照拓扑顺序采样。这样得到的每一维度都是有效的。但是对于无向图模型，没法判断先采哪个。如果按照原始采样法，采哪个维度都有问题，因为其对应的不独立的维度并不知晓。方法一种可行的方法是马尔科夫链蒙特卡洛（MC...

目录概念对偶线性回归最大似然贝叶斯解相关向量回归（Relevance vector regression）对偶逻辑回归最大似然贝叶斯对偶逻辑回归相关向量分类与核函数的关系这两天看到一个很有趣的回归模型，叫做dual regression（我觉得翻译成“对偶回归”比“二元回归”要好，书上的翻译前后不一致，网上也查不到该方法的翻译版本）概念在线性回归和逻辑回归中，都存在ϕTx\phi ^T xϕ...

目录共同点区别组合共同点三者都是一组正态分布的加权和或积分。区别高斯混合：KKK个不同均值，不同方差，高斯分布加权和t分布：相同均值，不同方差，正态分布积分。鲁棒性强于高斯混合因子分析模型：不同均值，相同对角协方差，正态分布积分。是一个高斯线性模型组合混合模型+因子分析：混合因子分析（MoFA）。即因子分析的加权和形式混合模型+t分布：混合t分布（或鲁棒混合模型）t分布+...

目录对数似然目标定义下界优化过程例子解释EM算法用于在生成模型当中，模型的形式已知后，以最大似然的形式，优化模型参数。对数似然目标θ^=arg max⁡θ[∑i=1Ilog[∫P(xi,hi∣θ)dhi]]\hat \theta = \argmax _\theta \left [ \sum_{i=1}^I log \left [\int P(x_i, h_i|\theta)dh_i \ri...

模型为P(x∣h)=N(x∣μ+Φh,Σ)P(h)=N(h∣0,I)\begin{aligned}P( x| h) &= \mathcal N( x| \mu + \Phi h, \Sigma) \\P( h) &= \mathcal N( h| 0, I)\end{aligned}P(x∣h)P(h)​=N(x∣μ+Φh,Σ)=N(h∣...

目录解释核函数判定核函数合成核函数内部参数解释各种回归/SVM当中，对输入xxx进行高维映射f(x)f(x)f(x)，内积为f(xi)Tf(xj)f(x_i)^Tf(x_j)f(xi​)Tf(xj​)。线性回归和SVM的推断解析解表达式只与内积有关，可以不显写参数θ\thetaθ和f(x)f(x)f(x)。如果直接给出和函数表达式k(xi,xj)=f(xi)Tf(xj)k(x_i, x_j...

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Ma...