生成学习算法（Generative Learning algorithms）

看了一下斯坦福大学公开课：机器学习教程（吴恩达教授），记录了一些笔记，写出来以便以后有用到。笔记如有误，还望告知。
本系列其它笔记：
线性回归（Linear Regression）
分类和逻辑回归（Classification and logistic regression）
广义线性模型（Generalized Linear Models）
生成学习算法（Generative Learning algorithms）

生成学习算法（Generative Learning algorithms）

之前我们学习的算法$p(y|x;\theta )$给定x的y的条件分布，我们称之为判别学习算法（discriminative learning algorithms）；现在我们学习相反的算法$p(x|y)(p(y))$,称之为生成学习算法（generative
learning algorithms）。

使用贝叶斯定理，我们可以得到给定x后y的分布：
$$\begin{gathered} p(y|x)=\frac{p(x|y)p(y)}{p(x)} \\ p(x)=p(x|y=1)p(y=1)+p(x|y=0)p(y=0) \end{gathered}$$

1 高斯判别分析（Gaussian discriminant analysis）

1.1 多元高斯分布（多元正态分布）

假设输入特征$x\in {\mathbb{R}}^n$,且是连续的；p(x|y)满足高斯分布。

假设z符合多元高斯分布$z\backsim \mathcal{N}(\vec{\mu },\Sigma )$
$$p(z)=\frac{1}{(2\pi {)}^{\frac{n}{2}}|\Sigma {|}^{\frac{1}{2}}}\exp (-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu ))$$

1.2 高斯判别分析模型（The Gaussian Discriminant Analysis model）

$$\begin{gathered} y\backsim Bernoulli(\varphi ) \\ x|y=0\backsim \mathcal{N}({\mu }_0,\Sigma ) \\ x|y=1\backsim \mathcal{N}({\mu }_1,\Sigma ) \\ p(y)={\varphi }^y(1-\varphi {)}^{1-y} \\ p(x|y=0)=\frac{1}{(2\pi {)}^{\frac{n}{2}}|\Sigma {|}^{\frac{1}{2}}}\exp (-\frac{1}{2}(x-{\mu }_0{)}^T{\Sigma }^{-1}(x-{\mu }_0)) \\ p(x|y=1)=\frac{1}{(2\pi {)}^{\frac{n}{2}}|\Sigma {|}^{\frac{1}{2}}}\exp (-\frac{1}{2}(x-{\mu }_1{)}^T{\Sigma }^{-1}(x-{\mu }_1)) \end{gathered}$$

$$\begin{gathered} \ell (\varphi ,{\mu }_0,{\mu }_1,\Sigma )=\log \prod _{i=1}^{m}p(x^{(i)},y^{(i)};\varphi ,{\mu }_0,{\mu }_1,\Sigma ) \\ =\log \prod _{i=1}^{m}p(x^{(i)}|y^{(i)};{\mu }_0,{\mu }_1,\Sigma )\cdot p(y^{(i)};\varphi )\to jointLikelihood \\ =\sum _{i=1}^m(\log p(x^{(i)}|y^{(i)};{\mu }_0,{\mu }_1,\Sigma )+\log p(y^{(i)};\varphi )) \end{gathered}$$

∂ ∂ ϕ ℓ ( ϕ , μ 0 , μ 1 , Σ ) = ∂ ∂ ϕ ∑ i = 1 m ( log ⁡ p ( x ( i ) ∣ y ( i ) ; μ 0 , μ 1 , Σ ) + log ⁡ p ( y ( i ) ; ϕ ) ) = ∑ i = 1 m ∂ ∂ ϕ log ⁡ p ( y ( i ) ; ϕ ) = ∑ i = 1 m ∂ ∂ ϕ ( y ( i ) log ⁡ ( ϕ ) + ( 1 − y ( i ) ) log ⁡ ( 1 − ϕ ) ) = ∑ i = 1 m ( y ( i ) − ϕ ϕ ( 1 − ϕ ) ) 令   ∂ ∂ ϕ ℓ ( ϕ , μ 0 , μ 1 , Σ ) = 0 ⇒ ϕ = ∑ i = 1 m y ( i ) m = 1 m ∑ i = 1 m 1 { y ( i ) = 1 } \left.\frac{\partial}{\partial\phi}\right.\ell(\phi,\mu_0,\mu_1,\Sigma) = \left.\frac{\partial}{\partial\phi}\right.\sum_{i=1}^{m}(\log p(x^{(i)}|y^{(i)};\mu_0,\mu_1,\Sigma)+ \l