指数族函数
待完善
作者查阅了一些资料,全是公式函数名也陌生,所以这部分一直进行不下去。其实不用怕,只是提出了一类分布,这一类分布遵循着一些性质,具体推导过程甚至可以不了解,直接拿着结论用。通过这些特点你可以根据极大似然估计求损失函数。
表达式
常见形式
p ( y ∣ λ ) = 1 Z ( λ ) h ( x ) e ϕ ( λ ) T T ( y ) p(y|\lambda) = \frac{1}{Z(\lambda)}h(x)e^{\phi(\lambda)^TT(y)} p(y∣λ)=Z(λ)1h(x)eϕ(λ)TT(y)
变形
令 g ( λ ) = 1 Z ( λ ) g(\lambda) = \frac{1}{Z(\lambda)} g(λ)=Z(λ)1
得 p ( y ∣ λ ) = g ( λ ) h ( x ) e ϕ ( λ ) T T ( y ) p(y|\lambda) = g(\lambda)h(x)e^{\phi(\lambda)^TT(y)} p(y∣λ)=g(λ)h(x)eϕ(λ)TT(y)
令 A ( λ ) = ln Z ( λ ) A(\lambda) = \ln Z(\lambda) A(λ)=lnZ(λ)
得 p ( y ∣ λ ) = h ( x ) e ϕ ( λ ) T T ( y ) − A ( λ ) p(y|\lambda) = h(x)e^{\phi(\lambda)^TT(y) - A(\lambda)} p(y∣λ)=h(x)eϕ(λ)TT(y)−A(λ)
令 S ( x ) = ln h ( x ) S(x) = \ln h(x) S(x)=lnh(x) 和 A ( λ ) = ln Z ( λ ) A(\lambda) = \ln Z(\lambda) A(λ)=lnZ(λ):
得 p ( y ∣ λ ) = e ϕ ( λ ) T T ( y ) + S ( y ) − A ( λ ) p(y|\lambda) = e^{\phi(\lambda)^TT(y)+S(y) - A(\lambda)} p(y∣λ)=eϕ(λ)TT(y)+S(y)−A(λ)
标准形式
标准形式,是将参数 λ \lambda λ改写成 θ \theta θ,即 θ = ϕ ( λ ) \theta = \phi(\lambda) θ=ϕ(λ),得 λ = ϕ − 1 ( θ ) \lambda = \phi^{-1}(\theta) λ=ϕ−1(θ)
p ( y ∣ θ ) = e θ T T ( y ) + S ( x ) − A ( θ ) p(y|\theta) = e^{\theta^TT(y)+S(x) - A(\theta)} p(y∣θ)=eθTT(y)+S(x)−A(θ)
其中 A ( λ ) A(\lambda) A(λ)与 A ( θ ) A(\theta) A(θ)不是一个函数