# ML—广义线性模型深度解析

13881人阅读 评论(0)

p(y,η)=b(y)eηTT(y)a(η)(1-1)$p(y,\eta)=b(y)e^{\eta^TT(y)-a(\eta)} \tag{1-1}$

1、线性模型的假设

y=xβ+ϵ$y=x\beta+\epsilon$
E(ϵ)=0$E(\epsilon)=0$
cov(ϵ,ϵ)=σ2Inn$cov(\epsilon,\epsilon)=\sigma^2I_{n*n}$
(2)$\tag{2}$
2、广义线性模型的三条假设

3、对GLM三个假设的说明
3.1 假设1的解释

3.2 假设2的解释

3.3 假设3的解释

L(θ)=mi=1p(yi|xi;θ)(3)$L(\theta)=\prod_{i=1}^m{p(y_i|x_i;\theta)} \tag{3}$

p(y;ϕ)=ϕy(1ϕ)1y$p(y;\phi)=\phi^y(1-\phi)^{1-y}$
=eylogϕ+(1y)log(1ϕ)$=e^{ylog\phi+(1-y)log(1-\phi)}$
=eylogϕ1ϕ+log(1ϕ)$=e^{ylog\frac{\phi}{1-\phi}+log(1-\phi)}$
(4-1)$\tag{4-1}$

η=logϕ1ϕ$\eta=log\frac{\phi}{1-\phi}$
T(y)=y$T(y)=y$
a(η)=log(1ϕ)$a(\eta)=log(1-\phi)$
b(y)=1$b(y)=1$

ϕ=11+eη(4-2)$\phi=\frac{1}{1+e^{-\eta}} \tag{4-2}$

ϕ=11+eθTx(4-3)$\phi=\frac{1}{1+e^{-\theta^Tx}} \tag{4-3}$

hθ(x)=E[y|x]=ϕ1+(1ϕ)0=ϕ(4-4)$h_\theta(x)=E[y|x]=\phi*1+(1-\phi)*0=\phi \tag{4-4}$

hθ(x)=ϕ=11+eθTx(4-5)$h_\theta(x)=\phi=\frac{1}{1+e^{-\theta^Tx}} \tag{4-5}$

p(y|x;θ)=p(y;ϕ)=ϕy(1ϕ)1y=hθ(x)y(1hθ(x))1y(4-6)$p(y|x;\theta)=p(y;\phi)=\phi^y(1-\phi)^{1-y}=h_\theta(x)^y(1-h_\theta(x))^{1-y} \tag{4-6}$

L(θ)=mi=1p(yi|xi;θ)=mi=1hθ(xi)yi(1hθ(xi))1yi(4-7)$L(\theta)=\prod_{i=1}^m{p(y_i|x_i;\theta)}=\prod_{i=1}^m{h_\theta(x_i)^y_i(1-h_\theta(x_i))^{1-y_i}} \tag{4-7}$

y|x$y|x$~N(μ,σ2)$N(\mu,\sigma^2)$ ，我们考虑简单情况σ2=1$\sigma^2=1$ 所以有下式
p(y;μ)=12πexp(12(yμ)2)$p(y;\mu)=\frac{1}{\sqrt{2\pi}}exp(-\frac{1}{2}(y-\mu)^2)$
=12πexp(12y2)exp(μy12μ2)$=\frac{1}{\sqrt{2\pi}}exp(-\frac{1}{2}y^2)exp(\mu y-\frac{1}{2}\mu^2)$
(5-1)$\tag{5-1}$

η=μ$\eta=\mu$
T(y)=y$T(y)=y$
a(η)=12μ2=12η2$a(\eta)=\frac{1}{2}\mu^2=\frac{1}{2}\eta^2$
b(y)=12πexp(12y2)$b(y)=\frac{1}{\sqrt{2\pi}}exp(-\frac{1}{2}y^2)$

μ=η=θTx(5-2)$\mu=\eta=\theta^Tx \tag{5-2}$

hθ(x)=E[y|x;θ]=μ=η=θTx(5-3)$h_\theta(x)=E[y|x;\theta]=\mu=\eta=\theta^Tx \tag{5-3}$

p(y|x;θ)=12πexp((yμ)22)=12πexp((yθTx)22)(5-4)$p(y|x;\theta)=\frac{1}{\sqrt{2\pi}}exp(-\frac{(y-\mu)^2}{2})=\frac{1}{\sqrt{2\pi}}exp(-\frac{(y-\theta^Tx)^2}{2}) \tag{5-4}$

SoftMax可以看成是伯努利分布的扩展，伯努利是二分类，SoftMax是多分类。同理就可以得到SoftMax回归所需要的关于类别标签y$y$的分布假设了—多维伯努利分布。

p(y=i)=ϕi,i=1,2,...,kyki=1ϕi=1$p(y=i)=\phi_i,i=1,2,...,k，表示y属于每一个类别的概率，由于\sum_{i=1}^k\phi_i=1$ 因此对于k分类问题只需要k-1个参数，但是为了后面表示方便我们仍旧使用ϕkϕk=1k1i=1ϕi$\phi_k这个符号，不过他不表示多维伯努利分布的模型参数，\phi_k=1-\sum_{i=1}^{k-1}\phi_i$

T(1)=[1,0,0,...,0,0]T$T(1)=[1,0,0,...,0,0]^T$
T(2)=[0,1,0,...,0,0]T$T(2)=[0,1,0,...,0,0]^T$
T(k1)=[0,0,0,...,0,1]T$T(k-1)=[0,0,0,...,0,1]^T$
……
T(k)=[0,0,0,...,0,0]T$T(k)=[0,0,0,...,0,0]^T$

p(y;ϕ)=ϕ1{y=1}1ϕ1{y=2}2...ϕ1{y=k}k$p(y;\phi)=\phi_1^{1\{y=1\}}\phi_2^{1\{y=2\}}...\phi_k^{1\{y=k\}}$
=ϕ1{y=1}1ϕ1{y=2}2...ϕ1k1i=11{y=i}k$=\phi_1^{1\{y=1\}}\phi_2^{1\{y=2\}}...\phi_k^{1-\sum_{i=1}^{k-1}1\{y=i\}}$
=ϕ(T(y))11ϕ(T(y))22...ϕ1k1i=1(T(y))ik$=\phi_1^{(T(y))_1}\phi_2^{(T(y))_2}...\phi_k^{1-\sum_{i=1}^{k-1}{(T(y))_i}}$
=exp((T(y))1log(ϕ1)+(T(y))2log(ϕ2)+...+(1k1i=1(T(y))i)log(ϕk))$=exp((T(y))_1log(\phi_1)+(T(y))_2log(\phi_2)+...+(1-\sum_{i=1}^{k-1}{(T(y))_i})log(\phi_k))$
=exp((T(y))1log(ϕ1/ϕk)+(T(y))2log(ϕ2/ϕk)+...+(T(y))k1log(ϕk1/ϕk)+log(ϕk))$=exp((T(y))_1log(\phi_1/\phi_k)+(T(y))_2log(\phi_2/\phi_k)+...+(T(y))_{k-1}log(\phi_{k-1}/\phi_k)+log(\phi_k))$
=exp(ηT(T(y))+log(ϕk))$=exp(\eta^T(T(y))+log(\phi_k))$
(6-1)$\tag{6-1}$

η=(log(ϕ1/ϕk),log(ϕ2/ϕk),..,log(ϕk1/ϕk))T$\eta=(log(\phi_1/\phi_k),log(\phi_2/\phi_k),..,log(\phi_{k-1}/\phi_k))^T$
a(η)=log(ϕk)$a(\eta)=-log(\phi_k)$
b(y)=1$b(y)=1$
ηi=log(ϕi/ϕk)k=1,2,...,k1$\eta_i=log(\phi_i/\phi_k)，k=1,2,...,k-1$，这里添加一个ηk=log(ϕk/ϕk)=0$\eta_k=log(\phi_k/\phi_k)=0$
ϕi=ϕkeηi$\phi_i=\phi_ke^{\eta_i}$

ϕk=1ki=1eηi$\phi_k=\frac{1}{\sum_{i=1}^{k}e^{\eta_i}}$

ϕi=eηiki=1eηi(6-2)$\phi_i=\frac{e^{\eta_i}}{\sum_{i=1}^{k}e^{\eta_i}}\tag{6-2}$

ηi=θTix(6-3)$\eta_i=\theta_i^Tx \tag{6-3}$

p(y|x;θ)=...()(6-4)$p(y|x;\theta)=...(带入过程省略)\tag{6-4}$

p(y=i|x;θ)=ϕi=eηiki=1eηi=eθTixki=1eθTix(6-5)$p(y=i|x;\theta)=\phi_i=\frac{e^{\eta_i}}{\sum_{i=1}^{k}e^{\eta_i}}=\frac{e^{\theta_i^Tx}}{\sum_{i=1}^{k}e^{\theta_i^Tx}} \tag{6-5}$

hθ(x)=E[T(y)|x;θ]$h_\theta(x)=E[T(y)|x;\theta]$
=[ϕ1,ϕ1,,...,ϕk1]T$=[\phi_1,\phi_1,,...,\phi_{k-1}]^T$
(6-6)$\tag{6-6}$

2
0

* 以上用户言论只代表其个人观点，不代表CSDN网站的观点或立场
个人资料
• 访问：308996次
• 积分：5695
• 等级：
• 排名：第4544名
• 原创：277篇
• 转载：14篇
• 译文：0篇
• 评论：55条
博客专栏
 剑指offer 文章：64篇 阅读：16005
 趣味数学 文章：14篇 阅读：30459
 EularProject 文章：31篇 阅读：44875
 机器学习 文章：40篇 阅读：95269
 算法导论 文章：48篇 阅读：50041
评论排行
最新评论