机器学习-白板推导系列笔记（二十四）-直面配分函数

此文章主要是结合哔站shuhuai008大佬的白板推导视频：直面配分函数_134min

全部笔记的汇总贴：机器学习-白板推导系列笔记

直面配分函数-对应花书第十八章

动机：Learning问题、evaluation问题

一、对数似然梯度

x ∈ R p , { 0 , 1 } p x\in \R^p,\{0,1\}^p x∈Rp,{ 0,1}p

许多概率图模型（通常无向图模型），由一个为归一化的$\hat{p}(x;\theta )$定义，我们必须除以一个配分函数$Z(\theta )$来归一化， $$p(x;\theta )=\frac{1}{Z(\theta )}\hat{p}(x;\theta )$$

配分函数$Z(\theta )$是对未归一化概率所有状态的积分或者求和：
$$Z(\theta )=\int \hat{p}(x)dxorZ(\theta )=\sum _x\hat{p}(x)$$

ML learning:Given X = { x i } i = 1 N , e s t i m a t e : θ X=\{x_i\}^N_{i=1},estimate:\theta X={ xi​}i=1N​,estimate:θ

$$\theta =\underset{\theta }{\mathrm{argmax}}p(x;\theta )=\underset{\theta }{\mathrm{argmax}}\prod _{i=1}^{N}p(x_i;\theta )$$
引入一个$\log$
$$\begin{gathered} \theta =\underset{\theta }{\mathrm{argmax}}\log \prod _{i=1}^{N}p(x_i;\theta ) \\ =\underset{\theta }{\mathrm{argmax}}\sum _{i=1}^N\log p(x_i;\theta ) \\ =\underset{\theta }{\mathrm{argmax}}\sum _{i=1}^N(\log \hat{p}(x_i;\theta )-\log Z(\theta )) \\ =\underset{\theta }{\mathrm{argmax}}\sum _{i=1}^N\log \hat{p}(x_i;\theta )-N\cdot \log Z(\theta ) \\ =\underset{\theta }{\mathrm{argmax}}\frac{1}{N}\sum _{i=1}^N\log \hat{p}(x_i;\theta )-\log Z(\theta ) \\ （提一个N对计算无影响） \end{gathered}$$
$$l(\theta )=\frac{1}{N}\sum _{i=1}^N\log \hat{p}(x_i;\theta )-\log Z(\theta )$$

求梯度，

$${\nabla }_{\theta }l(\theta )=\frac{1}{N}\sum _{i=1}^N{\nabla }_{\theta }\log \hat{p}(x_i;\theta )-{\nabla }_{\theta }\log Z(\theta )$$

$$\begin{gathered} {\nabla }_{\theta }\log Z(\theta )=\frac{1}{Z(\theta )}{\nabla }_{\theta }Z(\theta ) \\ =\frac{p(x;\theta )}{\hat{p}(x;\theta )}{\nabla }_{\theta }\int \hat{p}(x)dx \\ =\frac{p(x;\theta )}{\hat{p}(x;\theta )}\int {\nabla }_{\theta }\hat{p}(x)dx \\ =\int \frac{p(x;\theta )}{\hat{p}(x;\theta )}{\nabla }_{\theta }\hat{p}(x)dx \\ =\int p(x;\theta ){\nabla }_{\theta }\log \hat{p}(x)dx \\ =E_{p(x;\theta )}[{\nabla }_{\theta }\log \hat{p}(x)] \end{gathered}$$

二、随机最大似然

$${\nabla }_{\theta }l(\theta )=\frac{1}{N}\sum _{i=1}^N{\nabla }_{\theta }\log \hat{p}(x_i;\theta )-E_{p(x;\theta )}[{\nabla }_{\theta }\log \hat{p}$$