Logistic回归与最大熵模型

Logistic回归

Logistic回归经常与最大熵模型联系在一起。
我们先从较为简单的二项Logitc回归
定义P(Y=1|x)=p为事件发生的概率
P(Y=0|x)=1-p为不发生的概率
一个事件的几率为该事件发生的概率与不发生的概率的比值，即 $\frac{1}{1-p}$,其对数几率为log$\frac{p}{1-p}$
我们假设有k个影响p的因素 $\ x_1,x_2...x_k$
而p的对数几率是输入x的线性函数，即

$$logit(p)=w\cdot x=w_0+w_1x_1+...+w_kx_k ...... (1)$$ 这里 $w_0$可以看作是偏置
w 为回归参数，表示相应变量的重要性，所以我们可以用p的对数几率来表示p，即

$$p = \frac{ \frac{p}{1-p}}{1+ \frac{p}{1-p}}=\frac{exp(w\cdot x）}{1+exp(w\cdot x)}......(2)$$

下面就是对模型参数的估计了,应用极大似然估计对参数模型进行估计,即使其成为概率最大模型
设对于输入输出$P(Y=1|x)=\pi(x),P(Y=0|x)=1-\pi(x)$
可得其对数似然函数为

$$L(w)=\sum_{i=1}^N[y_ilog\pi(x_i)+(1-y_i)log(1-\pi(x_i))]$$
$=\sum_{i=1}^N[y_i(w\cdot x_i)-log(1+exp(w\cdot x_i))] .....(3)$

对L(w)求极大值得到w的估计值，这样问题就转变成了以对数似然函数为目标的最优化问题。而多项Logistic回归就是Y可以等于1到k

pk=pk1−pk1+∑K−1k=1pk1−pk