定义示性函数 1{bool式子} ,当bool式子为真,示性函数为1,反之为0.
多项式分布:
P(y;ϕ1,ϕ2,ϕ3......ϕk)
上式等于:
∏i=1kϕ1{y=i}i=∏i=1k−1ϕ1{y=i}iϕ1{y=k}k
上式等于:
exp(∑i=1k−11{y=i}lnϕi+(1−∑l=1k−11{y=l})ln(1−∑l=1k−1ϕl))
上式等于:
exp(∑i=1k−11{y=i}lnϕi1−∑k−1l=1ϕl+ln(1−∑l=1k−1ϕl))
上式也等于:
exp(∑i=1k−11{y=i}lnϕiϕk+lnϕk)
得到softmax的广义线性模型参数为
b(y)=1
a(η)=−lnϕk
T(y)=∑k−1i=11{y=i}
ηi=lnϕiϕk 这是个矩阵形式的式子。
根据
ηi=lnϕiϕk
和
∑kj=1ϕj=1
得
ϕj=eηj∑kj=1eηj
对于有m个样本,k个类别的分类问题,似然函数为
L(θ)=∏i=1mP(y(i)|xi;θ)=∏i=1m∏j=1kϕ1{yi=j}j
写成对数形式
l(θ)=∑i=1m∑j=1k1{yi=j}logϕj
迭代公式为
θj:=θj+a(1m∑i=1mxi(1{yi=j}−ϕi))