NLP --- > LDA-EM-SVM

algorithm-LDA-EM-SVM

标签（空格分隔）： EM LDA SVM

---

在此输入正文

EM

• incomplete data distribution
  $$P(Y|\theta )$$
• complete data distribution
  $$P(Y,Z|\theta )$$
  求解目标MLE,maximun likelihood estimate
  $$logP(Y,Z|\theta ))=\sum _i^{n}log\sum _{z_i}P(x^i,z^i|\theta )>=\sum _i\sum _{z^i}Q(z^i)log\frac{P(x^i,z^i|\theta )}{Q(z^i)}$$
  $$Q(\theta ,{\theta }^i)=\sum _{Z}logP(Y,Z|\theta )P(Z|Y,{\theta }^i)$$

具体而言
https://en.wikipedia.org/wiki/Expectation%E2%80%93maximization_algorithm

• 写出完全数据的概率$P(Y,Z|\theta )$,比如隐含量Z为性别男女，变量Y为身高，身高的分布为高斯分布$(u,{\delta }^2)$,还有男女的分布$T_i$

附加知识：

在贝叶斯概率理论中，如果后验概率P(θ|x)和先验概率p(θ)满足同样的分布律，那么，先验分布和后验分布被叫做共轭分布^

---

EM algorithm

$输入：观测变量数据Y,隐变量数据Z,联合分布P(Y,Z|\theta ),条件分布P(Z|Y,\theta );$
输出：模型参数 $\theta$
(1)选择参数的初值 ${\theta }^{(}0)$,开始迭代\
(2)E步:记 ${\theta }^i为第i次迭代参数\theta 的估计值，在i+1次迭代中的E步中，计算$
$$\begin{gathered} Q(\theta ,{\theta }^i)=E_Z[logP(Y,Z|\theta )|Y,{\theta }^i] \\ =\sum _{Z}P(Z|Y,{\theta }^i)logP(Y,Z|\theta ) \end{gathered}$$
$(3)M步：求使得Q(\theta ,{\theta }^i)极大化的\theta ,当确定第i+1次迭代的参数的估计值{\theta }^{i+1}$
$${\theta }^{i+1}=argma{x}_{\theta }Q(\theta ,{\theta }^i)$$
$$重复第(2)步和第(3)步,直到收敛$$

Q函数

$$\begin{gathered} 完全数据的对数似然函数logP(Y,Z|\theta )关于在给定观测数据Y和 \\ 当前参数{\theta }_i下对未知观测数据Z的条件概率分布P(Z|Y,{\theta }_i)的期望称为Q函数，即 \end{gathered}$$
$$Q(\theta ,{\theta }^i)=E_Z[logP(Y,Z|\theta )|Y,{\theta }^i]$$

---

EM algorithm

E step:对于每个i
$Q^i(z^i)=p(z^i|y^i,\theta )$
M step
$$\theta =argma{x}_{\theta }\sum _{i=1}^n\sum _{z^i}{Q}^i(z^i)log\frac{p(z^i,y^i;\theta )}{Q^i(z^i)}$$
但如果要是jensen不等式成立，须有 $$\begin{gathered} \frac{p(z^i,y^i;\theta )}{Q^i(z^i)}=c，即为一常数 \\ 得到Q^i(z^i)=p(z^i|y^i,\theta ) \end{gathered}$$

上述两个EM algorithm中，并不矛盾，实质都first calculate the $P(z_{ik}|y_i,{\theta }^i)$

混合高斯模型

整个数据集的各模型的比例
与特定数据的各模型比例是造成数据更新的原因!

高斯混合模型

具有如下形式的概率分布模型：
$$P(y|\theta )=\sum _{k=1}^K{\alpha }_k\varphi (y|{\theta }_k)$$
其中$\alpha_k为系数，\sum_{k=1} ^{K\alpha_k=1;\phi(y|\theta_k)是高斯分布密度，\phi_k=(\mu_k,\sigma_k}2)\$
$$\varphi (y|{\theta }_k)=\frac{1}{\sqrt{2\pi }{\sigma }_k}exp(-\frac{(y-{\mu }_k{)}^2}{2{\sigma }_k^2})$$为第k个分模型；

1. 明确隐变量，完全数据的对数似然函数
   $第j个观测数据来自地k个分模型，r_{jk}=1,否侧r_{jk}=0$
   $完全数据是(y_i,r_{j1},r_{j2},r_{j3},...,r_{jK}),j=1,2,3,...,N$
2. EM算法E步，确定Q函数，然后需要计算$E(r_{jk}|y,\theta )，记为{\hat{r}}_{jk}$
   $${\hat{r}}_{jk}=E(r_{jk}|y,\theta )=\frac{{\alpha }_k\varphi (y_k|{\theta }_k)}{{\sum }_{k=1}^K{\alpha }_k\varphi (y_i|{\theta }_k)},j=1,2,3,...,N;k=1,2,...,K$$
   ${\hat{r}}_{jk}为分模型k对观测数据y_i的响应度。$
3. M步
   $${\theta }^{i+1}=argma{x}_{\theta }Q(\theta ,{\theta }^i),分别求导可得到$$
   $$\begin{gathered} {\hat{\mu }}_k=\frac{{\sum }_{j=1}^N{\hat{r}}_{jk}{y}_k}{{\sum }_{j=1}^N{\hat{r}}_{jk}},k=1,2,...,K \\ {\hat{\sigma }}_k^2=\frac{{\sum }_{j=1}^N{\hat{r}}_{jk}(y_i-{\mu }_k{)}^2}{{\sum }_1^N{\hat{r}}_{jk}},k=1,2,...,K \\ {\alpha }_k=\frac{n_k}{N}=\frac{{\sum }_{j=1}^N{\hat{r}}_{jk}}{N},k=1,2,...,K \\ 重复上述过程直至对数似然函数值不在有明显的变化 \end{gathered}$$

summary

关键是数据整个模型的隐含量的概率值，和相对于每一个数据的隐含量的概率值直接的变换求解，附带求出整个模型的均值和方差
Expection: 即第n个序列来自第k个模型的概率，即为期望
Maxinum: 即由Expection得到的概率去求模型参数，以使得Q函数最大

参考：李航<统计学习方法>

refrence:

https://en.wikipedia.org/wiki/Expectation%E2%80%93maximization_algorithm
http://www.cnblogs.com/jerrylead/archive/2011/04/06/2006936.html
http://blog.163.com/huai_jing@126/blog/static/17186198320119231094873/

SVM原理推导

标签（空格分隔）： 未分类

##策略是最大间隔分离超平面
$$\begin{gathered} \underset{w,b}{\max }r \\ s.t.y_i(\frac{w}{||w||.x_i}+\frac{b}{||w||})>=r,i=1,2,...,N \end{gathered}$$进一步由几何间隔和函数间隔的关系可得
$$\begin{gathered} \underset{w,b}{\min }\frac{1}{2}||w|{|}^2 \\ s.t.y_i(w\cdot x_i+b)-1>=0 \end{gathered}$$
转为拉格朗日函数(原始问题:广义拉格朗日函数的极小极大问题)
$$\begin{gathered} \underset{w,b}{\min }ma{x}_{\alpha }f(w,b,\alpha )=\frac{1}{2}||w|{|}^2+\sum _i^N{\alpha }_i(1-y_i(w\cdot x_i+b)) \\ s.t.{\alpha }_i>=0 \end{gathered}$$
其对偶问题:广义拉格朗日函数的极大极小问题
$$\begin{gathered} \underset{\alpha }{\max }\underset{w,b}{\min }f(w,b,\alpha )=\frac{1}{2}||w|{|}^2+\sum _i^N{\alpha }_i(1-y_i(w\cdot x_i+b)) \\ s.t.{\alpha }_i>=0 \end{gathered}$$

定理

---

假设$f(x),c_i(x),h_j(x)$是定义在R^n上的连续可微函数。考虑约束最优化问题
$$\begin{gathered} \underset{x\in R^n}{\min }f(x) \\ s.t. \\ {c}_i(x)\le 0,i=1,2,\cdots ,k \\ {h}_j(x)=0,j=1,2,\cdots ,l \end{gathered}$$
定理C.1 若原始问题和对偶问题都有最优值，则$$d=\underset{\alpha ,\beta :{\alpha }_i\ge 0}{\max }\underset{x}{\min }L(x,\alpha ,\beta )\le \underset{x}{\min }ma{x}_{\alpha ,\beta :{\alpha }_i\ge 0}L(x,\alpha ,\beta )=p$$
定理C.2：$$\begin{gathered} 考虑原始问题和对偶问题，假设函数f(x)和c_i(x)是凸函数，h_j(x)是仿射函数；并且不等式约束c_i(x) \\ 是严格可行的，即存在想，对所有i有c_i(x)<0,则存在x,\alpha ,\beta ,使得x是原始问题的解，\alpha ,\beta ，是对偶问题的解， \\ 并且p=d=L(x,\alpha ,\beta ) \end{gathered}$$
定理C.3
$x和\alpha ,\beta 分别是原始问题和对偶问题的解的充分必要条件是x,\alpha ,\beta ，满足下面KKT条件$KaTeX parse error: Undefined control sequence: \h at position 196: …,i=1,2,...,k \\\̲h̲_j(x)=0,j=1,2,.…

---

由以上定理可知原始问题和对偶问题解相同，并且满足KKT条件
求对偶问题的内层${\min }_{x}L(x,\alpha ,\beta )$
将拉格朗日函数分别对w,b求偏导数并令其为0
$$\begin{gathered} {\nabla }_{w}L(w,b,\alpha )=w-\sum _{i=1}^N{\alpha }_i{y}_i{x}_i=0 \\ {\nabla }_{b}L(w,b,\alpha )=\sum _{i=1}^N{\alpha }_i{y}_i=0 \\ w=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i,\sum _{i=1}^N{\alpha }_i{y}_i=0 \\ 代入L(w,b,\alpha )=\frac{1}{2}||w|{|}^2+\sum _i^N{\alpha }_i(1-y_i(w\cdot x_i+b)) \\ 可得到L(w,b,\alpha )=-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N{\alpha }_i \end{gathered}$$

引入对偶算法的优点:

• 对偶问题往往更容易求解；
• 自然引入核函数，进而推广到非线性分类问题

求解 SMO算法

SVM的学习问题可以形式化为求解凸二次规划问题。这样凸二次规划问题具有全局最优解。SMO算法是相对比较高效用于这一问题的求解。
求解的问题为

$$\begin{gathered} \underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i,x_j)-\sum _{i=1}^N{\alpha }_i \\ s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0 \\ 0\le {\alpha }_i\le C,i=1,2,...,N \end{gathered}$$

• 这个问题，变量是朗格朗日乘子。一个变量${\alpha }_i$对应一个样本点$(x_i,y_i)$;变量的总数等于训练样本的容量N.
• SMO是启发式算法，如果所有变量满足KKT条件，那么最优化问题的解得到了。
• SMO算法包括两个部分，求解两个变量的二次规划的解析方法和选择变量的启发式方法。
  • 第一个变量的选择：违法KKT条件最严重的样本点${\alpha }_1$。
  • 第二个变量的选择：希望能使得${\alpha }_2$有足够大的变化。

输入： 训 练 数 据 集 T = ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) , 其 中 ， x i ∈ R N ， y i ∈ y = { − 1 , + 1 } , i = 1 , 2 , . . . , N , 精 度 ϵ ; 输 出 ： 近 似 解 α ^ . ( 1 ) 取 近 似 值 α ( 0 ) = 0 , 令 k = 0 ; ( 2 ) 选 去 优 化 变 量 α 1 ( k ) , α 2 ( k ) ， 求 解 两 个 变 量 的 最 优 化 问 题 ， 求 得 最 优 解 α 1 ( k + 1 ) , α 2 ( k + 1 ) ， 更 新 α 为 α ( k = 1 ) ； ( 3 ) 若 能 在 精 度 ϵ 范 围 内 满 足 停 机 条 件 训练数据集T={(x_1,y_1),(x_2,y_2),...,(x_N,y_N)},其中，x_i\in {\bf R}^N，y_i\in y=\{-1,+1\},i=1,2,...,N,\\精度\epsilon;\\ 输出：近似解\hat{\alpha}.\\ (1)取近似值\alpha^{(0)}=0,令k=0;\\(2) 选去优化变量\alpha_1^{(k)},\alpha_2^{(k)}，求解两个变量的最优化问题，求得最优解\alpha_1^{(k+1)},\alpha_2^{(k+1)}，更新\alpha为\alpha^{(k=1)}；\\ (3) 若能在精度\epsilon 范围内满足停机条件 训练数据集T=(x1​,y1​),(x2​,y2​),...,(xN​,yN​),其中，xi​∈RN，yi​∈y={−1,+1},i=1,2,...,N,精度ϵ;输出：近似解α^.(1)取近似值α(0)=0,令k=0;(2)选去优化变量α1(k)​,α2(k)​，求解两个变量的最优化问题，求得最优解α1(k+1)​,α2(k+1)​，更新α为α(k=1)；(3)若能在精度ϵ范围内满足停机条件 $$\begin{gathered} \sum _{i=1}^N{\alpha }_i{y}_i=0 \\ 0\le {\alpha }_i\le C,i=1,2,...,N \end{gathered}$$ y i ⋅ g ( x i ) = { ≥ 1 , { x i ∣ α i = 0 } = 1 , { x i ∣ 0 < α i < C } , ≤ 1 , { x i ∣ α i = C } y_i\cdot g(x_i)=\left\{{\geq1,\{x_i|\alpha_i=0\}\atop =1,\{x_i|0<\alpha_i<C\},\leq 1,\{x_i|\alpha_i=C\}} \right. yi​⋅g(xi​)={=1,{xi​∣0<αi​<C},≤1,{xi​∣αi​=C}≥1,{xi​∣αi​=0}​ 其中$$g(x_i)=\sum _{j=1}^N{\alpha }_j{y}_{j}K(x_j,x_i)+b$$ $$\begin{gathered} 则转（4）;否则令k=k+1,转（2）； \\ （4）取\hat{\alpha }={\alpha }^{(k+1)} \end{gathered}$$ ## 仿射函数>仿射函数即由1阶多项式构成的函数，一般形式为 f (x) = A x + b，这里，A 是一个 m×k 矩阵，x 是一个 k 向量,b是一个m向量，实际上反映了一种从 k 维到 m 维的空间映射关系。

LDA

标签（空格分隔）： LDA 优化算法 BFGS EM

---

1. 首先设定LDA隐含变量主题的个数N
2. 对于一遍文档D,其包含的主题分布很多，当设定一共有三个主题时，比如有以下两个分布$0.2\ast z_1+0.3\ast z_2+0.5\ast z_3,0.3\ast z_1+0.4\ast z_2,0.3\ast z_3,...$；但是每个分布出现的概率又是不同的，也会呈现一定的分布，该分布即为dirichlet分布；
   • 上述dirichlet分布只有一个参数$\alpha$,称为concentration parameter（集中参数），当$\alpha$远小于1时，该分布集中在少数的几个（分布）中，但$\alpha$远大于1时，所有的分布的分布比较均匀；
3. 根据dirichlet分布sample一个主题的分布如$0.2\ast z_1+0.3\ast z_2+0.5\ast z_3$，即为该篇文档的主题分布；
4. 针对某一个word,是由其中一个对应的主题生成如$t_1$（隐变量）；生成过程是将主题分布sample出该主题，同时，该主题下有单词的分布，$0.1\ast w_1+0.2\ast w_2+0.3\ast w_3+0.4\ast w_4，0.2\ast w_1+0.2\ast w_2+0.2\ast w_3+0.4\ast w_4$,单词分布是由参数为$\beta$的dirichlet分布生成，sample出$0.1\ast w_1+0.2\ast w_2+0.3\ast w_3+0.4\ast w_4$,然后在由这个多项式采样生产word;

LDA与PLAS区别

• PLSA的主题分布和主题下的词分布是唯一确定的
• LDA中主题分布和词分布不是确定的（随机变量）
• LDA是PLSA的贝叶斯版本，文档生成后，两者都要根据文档去推断主题分布和词语分布（本质都是为了估计给定文档生产主题，给定主题生成词语的概率），只是用的参数推断方法不同。plsa用极大似然估计去推断两未知参数，LDA把两参数随机变量，且加入dirichlet先验。估计参数前者是频率，后者是贝叶斯派思想。

LDA本质就是PLSA加上贝叶斯框架，即利用本次数据对先验信息进行修正，并把信息保留下来，然后可以丢掉这部分数据，是一个增量式的学习。
为什么dirichlet分布
: 1.多项式分布概率的概率就是dirichlet分布；
2.dirichlet分布是多项式分布的共轭先验分布（共轭是形式保持不变），也就是说，先验分布信息+样本信息=后验分布信息
$Dir(p|\theta )+Multicount(m)=Dir(p|\theta +m)$
3. 经过增量式学习后，dirichlet分布形式保持不变，利于计算。

求解

初始时根据先验随机地给每个单词分配主题。然后计算5个数据，

BFGS 算法

$$B_{k+1}=B_k+\frac{y_k{y}_k^T}{y_k^T{\delta }_k}-\frac{B_k{\delta }_k{\delta }_k^T{B}_k}{{\delta }_k^T{B}_k{\delta }_k}$$

$$H_{k}\delta_k=y_k\
令B_{k+1}=H_k\
得到B_{k+1}=B_k+\alpha UU^T+\beta VV^T\
\alpha UU^T\delta_k=y_k 令U=y_k,\alpha=\frac{1}{y_k^T\delta_k}\$$$$B_k{\delta }_k=-\beta V{V}^T{\delta }_k,令B_k{\delta }_k=V,可得\beta =-\frac{1}{{\delta }_k^T{B}_k^T{\delta }_k}$$所以有
$$B_{k+1}=B_k+\frac{1}{y_k^T{\delta }_k}{y}_k{y}_k^T-\frac{1}{{\delta }_k^T{B}_k^T{\delta }_k}{B}_k{\delta }_k{\delta }_k^T{B}_k^T$$

$$\begin{gathered} 1,初始化B0为单位矩阵，初始点x0 \\ 2，求点x_k(k=0,1,2,3...)处的一阶导数，二阶导数 \\ 3，根据B_k(x_{k+1}-x_k)=g_{k+1}-g_k公式，因为拟合的时候按二次曲线进行拟合， \\ 然后令g_{k+1}=0时有B_k(x_{k+1}-x_k)=-g_k时，计算x_{k+1}的值多少 \\ 4，因为是按照二次进行拟合，在跨度x_k到x_{k+1}之间原方程有可能已经达到最小， \\ 所以要进行搜索，搜索分为精确搜索和Armijo搜索，其中前者浪费大量的资源，为了更有效, \\ 选择使用Armijo搜索 \\ 5,更新一个新的X_{k+1},其作为新的x_k，为了进一步利用步骤3进一步处理，根据下述的修正公式计算下一个B_{k+1},然后计算x_{k+1},这一迭代 \end{gathered}$$

Armijo搜索

已知当前 $x_k$和方向 $d_k$，参数 $\beta \in (0,1),\rho \in (0,0.5)$.令步长因子 $$\begin{gathered} {\alpha }_k={\beta }^{m_k},其中m_k为满足下列的最小非负整数m: \\ f(x_k+{\beta }^m{d}_k)<=f(x_k)+\beta \ast \rho \ast g_k^T\ast d_k \end{gathered}$$
$由此确定下一个位置x_{k+1}=x_k+{\alpha }_k{d}_k$

精确搜索和非精确搜索都能保证全局收敛性但有一点区别
精确搜索时矩阵序列$H_k$的正定新条件$y_k^T{\delta }_k$>0可以满足，但对于Armijo搜索准则来说，不能满足这一条件，在更新$H_{k+1}$时需要以下修改，

$$\begin{gathered} 当Y_k^T{\delta }_k>0时，H_{k+1}按上述公式进行递推 \\ 但当Y_k^T{\delta }_k<=0时，H_{k+1}=H_k \end{gathered}$$
以上对于quasi_newton的$B_k$ BFGS同样适用

http://blog.csdn.net/golden1314521/article/details/46225289#2%E7%BA%BF%E6%90%9C%E7%B4%A2%E6%8A%80%E6%9C%AF%E5%92%8Carmijo%E5%87%86%E5%88%99