广义线性模型(一)——指数分布族
最近接触机器学习,学到广义线性模型。 由于广义线性模型在精算领域的运用比较广泛。顾从本篇博客开始,对广义线性模型做一个探讨,希望大家积极指出本人的问题,或参与探讨。
指数分布族( Linear Exponential Family)
响应变量 y y y 来自指数分布组,其概率密度函数为:
f ( y ; θ , ϕ ) = e x p ( y θ − b ( θ ) ϕ + S ( y , ϕ ) ) f(y;\theta,\phi) = exp (\frac{y\theta-b(\theta)}{\phi}+S(y,\phi)) f(y;θ,ϕ)=exp(ϕyθ−b(θ)+S(y,ϕ))
θ \theta θ: 自然参数,也是我们感兴趣的参数
ϕ \phi ϕ: 尺度参数 (scale parameter)
正态分布,二项分布,伯努利分布,泊松分布,伽马分布,负二项分布,逆高斯分布都属于指数分布族。
指数分布族的期望与方差证明
指数分布族函数的期望和方差如下:
E ( y ) = b ′ ( θ ) , V a r ( y ) = ϕ b ′ ′ ( θ ) E(y) = b'(\theta) , Var(y) = \phi b''(\theta) E(y)=b′(θ),Var(y)=ϕb′′(θ)
那么该如何推导出这个期望和方差呢?
我们第一直觉是直接用期望的公式
E ( y ) = ∫ 0 ∞ y f ( y ; θ , ϕ ) d y E(y)=\int_{0}^{ \infty} yf(y;\theta,\phi) dy E(y)=∫0∞yf(y;θ,ϕ)dy
方差为
V a r ( y ) = E ( y 2 ) − ( E ( y ) ) 2 Var(y) = E(y^2)-(E(y))^2 Var(y)=E(y2)−(E(y))2
但是 f ( y , θ , ϕ ) f(y,\theta,\phi) f(y,θ,ϕ) 中包含了 S ( y , ϕ ) S(y,\phi) S(y,ϕ) 这一部分很难处理,所以换种方式,考虑矩量母函数(MGF,moment-generating function):
M x ( t ) = E [ e t x ] = ∫ e x p ( t x ) f (