weixin_43869610的博客

18.2 概率潜在语义分析的算法生成模型的对数似然函数是：L=∑i=1M∑j=1Nn(wi,dj)logP(wi,dj)=∑i=1M∑j=1Nn(wi,dj)log[∑k=1P(wi∣zk)P(zk∣dj)P(dj)]=∑i=1M∑j=1Nn(wi,dj)[logP(dj)+log(∑k=1P(wi∣zk)P(zk∣dj))]=∑i=1M∑j=1Nn(wi,dj)logP(dj)+∑i=1M∑j=1Nn(wi,dj)log(∑k=1P(wi∣zk)P(zk∣dj))\begin{aligned}L&

式子(16.3)和(16.4)的推导由式子(16.2)和Σ=cov⁡(x,x)=E[(x−μ)(x−μ)T]\Sigma=\operatorname{cov}(\boldsymbol{x}, \boldsymbol{x})=E\left[(\boldsymbol{x}-\boldsymbol{\mu})(\boldsymbol{x}-\boldsymbol{\mu})^{\mathrm{T}}\right]Σ=cov(x,x)=E[(x−μ)(x−μ)T]得var⁡(yi)=E[(yi−E(yi))(y

11.1 概率无向图模型11.1.1 模型定义式子(11.3)推导补充P(Yv,YO∣YW)=P(Yv∣YW,YO)P(YO∣YW)=P(Yv∣YW)P(YO∣YW)\begin{aligned}P(Y_v,Y_O|Y_W)&=P(Y_v|Y_W,Y_O)P(Y_O|Y_W)\\&=P(Y_v|Y_W)P(Y_O|Y_W)\end{aligned}P(Yv​,YO​∣YW​)​=P(Yv​∣YW​,YO​)P(YO​∣YW​)=P(Yv​∣YW​)P(YO​∣YW​)​两边

10.2 概率计算算法10.2.1 直接计算法P(I∣λ)=P(i1,i2,…,iT∣λ)=P(iT∣i1,i2,…,iT−1,λ)P(i1,i2,…,iT−1∣λ)P(I \mid \lambda)=P\left(i_{1}, i_{2}, \ldots, i_{T} \mid \lambda\right)=P\left(i_{T} \mid i_{1}, i_{2}, \ldots, i_{T-1}, \lambda\right) P\left(i_{1}, i_{2}, \ldots, i_{T

式子(9.20)推导补充这里使用逆推法。式子(9.34)推导补充引理9.2 即式子(9.36)的证明

8.2 AdaBoost算法的训练误差分析对该不等式证明的补充说明，先证前部分。当G(xi)≠yiG(x_i)\neq y_iG(xi​)​=yi​时，说明分类错误，yi和f(xi)y_i和f(x_i)yi​和f(xi​)其中一个大于0，其中小于0，因此yif(xi)<0y_if(x_i)<0yi​f(xi​)<0,因而exp(−yif(xi))>1exp(-y_if(x_i))>1exp(−yi​f(xi​))>1，所以前部分证明完毕。接下来补充后半部分的证明

7.1线性可分支持向量机和硬间隔最大化7.1.1 线性可分支持向量机给定线性可分训练集，通过间隔最大化或等价地求解相应的凸二次规划问题学习得到的分离超平面为w∗⋅x+b∗=0w^*\cdot x+b^*=0w∗⋅x+b∗=0以及相应的分类决策函数f(X)=sign(w∗⋅x+b∗=0)f(X)=sign(w^*\cdot x+b^*=0)f(X)=sign(w∗⋅x+b∗=0)称为线性可分支持向量机。7.1.2 函数间隔和几何间隔首先要知道点到超平面w⋅x+b=0w\cdot x+b

2.1 感知机模型形如f(X)=sign(w⋅x+b)f(X)=sign(w\cdot x+b)f(X)=sign(w⋅x+b)的函数称为感知机，其中w和b为感知机模型参数，w叫作权值，b叫作偏置，w⋅xw\cdot xw⋅x表示w和x的内积。sigh是符号函数，即sign⁡(x)={+1,x⩾0−1,x<0\operatorname{sign}(x)= \begin{cases}+1, & x \geqslant 0 \\ -1, & x<0\end{cases}sig

无监督学习的基本原理  无监督学习是从无标注的数据中学习数据的统计规律或者说内在结构的机器学习，主要包括聚类、降维、概率估计。无监督学习可以用于数据分析或者监督学习的前处理。  无监督学习使用无标注数据 U={x1,x2,⋯ ,xN}U=\left\{x_{1}, x_{2}, \cdots, x_{N}\right\}U={x1​,x2​,⋯,xN​} 学习或训练，其中 xi,i=x_{i}, i=xi​,i= 1,2,⋯ ,N,1,2, \cdots, N,1,2,⋯,N, 是样本 (实例)，由特征

摘要：  条件随机场（Conditional Random Field，CRF）是自然语言处理的基础模型，广泛应用于中文分词、命名实体识别、词性标注等标注场景。下面通过一个小问题来引入：  假设你有许多小明同学一天内不同时段的照片，从小明提裤子起床到脱裤子睡觉各个时间段都有（小明是照片控！）。现在的任务是对这些照片进行分类。比如有的照片是吃饭，那就给它打上吃饭的标签；有的照片是跑步时拍的，那就打上跑步的标签；有的照片是开会时拍的，那就打上开会的标签。问题来了，你准备怎么干？一个简单直观的办法就是，不管

摘要： 聚类是针对给定的样本，依据它们特征的相似度或距离，将其归并到若干个“类”或“簇”的数据分析问题。一个类是样本的一个子集。直观上，相似的样本聚集在相同的类，不相似的样本分散在不同的类。这里，样本之间的相似度或距离起着重要作用。聚类的基本概念首先定义一个矩阵X用来表示n个样本的m个属性。X=[xij]m×n=[x11x12⋯x1nx21x22⋯x2n⋮⋮⋮xm1xm2⋯xmn]X = [x_{ij}]_{m\times n}=\begin{bmatrix}x_{11} & x_{12

title: 统计学习方法——EM算法及其推广mathjax: truedate: 2020-09-02 16:38:15tags: 统计学习方法categories: 算法1、摘要EM算法是一种迭代算法，1977年由Dempster等人总结提出，用于含有隐变量（hidden variable）的概率模型参数的极大似然估计，或极大后验概率估计。EM算法的每次迭代由两步组成：E步，求期望（expectation）；M步，求极大（maximization）。所以这一算法称为期望极大算法（expe.

摘要： 隐马尔可夫模型（hidden Markov model，HMM）是可用于标注问题的统计学习模型，描述由隐藏的马尔可夫链随机生成观测序列的过程，属于生成模型。隐马尔可夫模型在语音识别，自然语言处理，生物信息，模式识别等领域有着广泛的应用。1、马尔科夫模型与HMM  要讲隐马尔科夫模型，需要先从马尔科夫模型讲起。已知N个有序随机变量，根据贝叶斯定理，他们的联合分布可以写成条件分布的连乘积：P(x1,x2,⋯ ,xN)=∏n=1NP(xn∣xn−1,⋯ ,x1)(1)P(x_1,x_2,\cdot