Logistic回归与最大熵模型（一）

前言

深度学习开发环境配置好以后，想要重温一下基础统计机器学习的知识，所以借助李航老师的《统计机器学习》，看到Logistic回归与最大熵模型的时候有些问题，模型的输入是特征$x$，模型的输出是类别$y$，模型的损失函数是什么不是很理解。在基本的分类问题中，当模型的函数是$y=\text{sign}(wx+b)$时，输出与真实类别标签的误差所对应的损失函数就是错误分类的个数，但是不便于求导；所以我们修改模型为$y=wx+b$，模型的输出与真实的类别标签之间的误差对应的损失函数就是距离与类别的乘积。到了logistic回归这里，损失函数的定义我有些分不清。心里面告诉自己是交叉熵，模型输出的是概率分布，损失函数是交叉熵，但是书上的内容跟我想的又不一样，好在后面看明白了，所以赶紧记录下来。
参考：
[1] 李航著和李航, author, 统计学习方法, Di 1 ban. Beijing: 清华大学出版社, 2012.

Logistic回归模型

模型函数为：$y=\frac{\exp (wx+b)}{1+\exp (wx+b)}$，当输入$x$后，输出属于类别1的概率$y$，此时属于类别2的概率自然为：$1-y$，此时样本数据发生的可能性为：
$$P=\prod _x{y}^{y_i}\ast (1-y{)}^{1-y_i}$$

但是我们很容易想到，这个乘积非常之小，不便于计算机运算，所以取个对数。
$$\log P=\sum _x[y_i\log y+(1-y_i)\log (1-y)]$$

上面不就是交叉熵的定义吗？$\sum P_{真实}\log (P_{估计})$，有人会说熵的定义明明是$-p\log p$，这里还少一个负号，别忘了，我们求得是极大似然估计，所以上面要求$\max P$，因此也就是：$\max \log P$，也就是：$\max {\sum }_x[y_i\log y+(1-y_i)\log (1-y)]$，而我们在深度学习开发中，常见的梯度更新公式是：$w=w-lr\ast w.grad$，也就是向着函数值减少的方向更新参数，所以为了能使用这个梯度更新公式，所以我们要把目标函数改为最小化：$\min -P=\min -\log P=\min -{\sum }_x[y_i\log y+(1-y_i)\log (1-y)]$，这就是交叉熵的定义。
所以从极大似然估计到交叉熵的损失函数，我们把统计机器学习的极大似然估计这个看似不是损失函数定义的东西转化为了损失函数交叉熵。
可以简记为：最大似然估计转化为最小交叉熵估计。交叉熵比较的就是模型输出的分布与样本标签的分布之间的差别。
上面的最小交叉熵模型也可以因此称为最大似然模型。

最大熵模型

最大熵模型是在已知概率分布满足的条件以后，估计概率分布。说实话这个简述虽然类比拉格朗日乘子法的确很好理解，但是对于我真正理解最大熵模型一点用都没有。



从上述公式中可以看出，一模一样的极大似然估计的计算公式，取对数以后所得到的对数似然函数竟然跟最大熵模型的对偶函数，所以极大似然估计就等于最大熵模型的对偶函数的极大化。

所以极大似然估计模型既是上面说的最小交叉熵模型，也是下面说的最大熵模型。
也就是当我们计算极大似然估计时，因为概率的乘积很小，不方便计算机运算，那么我们可以通过取对数把它转化为最小交叉熵模型以及最大熵模型。取为最小交叉熵模型或者最大熵模型以后就方便计算了。

使用Logistic回归分类模型

#导入模块
import torch
from matplotlib import pyplot as plt
torch.set_default_tensor_type(torch.cuda.FloatTensor)
# 生成数据
torch.manual_seed(5)
w_0=torch.randn(3)
b_0=torch.randn(1)
x_0=torch.randn(15,3)
y_0=torch.where(torch.mv(x_0,w_0)+b_0>=0,1,-1)
print(f"w_0,b_0,x_0,y_0:{w_0,b_0,x_0,y_0}")
lr=torch.tensor(0.01)
w1=torch.randn(3,requires_grad=True)
b1=torch.randn(1,requires_grad=True)
temp1=torch.where(y_0<0,1,0)
temp2=torch.where(y_0>=0,1,0)
p=torch.exp(torch.mv(x_0,w1)+b1)/(1+torch.exp(torch.mv(x_0,w1)+b1))
p=(1-temp1*p)*temp1+temp2*p
prod=(-torch.log(p)).sum()
flag=prod.data+1
while True:
    p=torch.exp(torch.mv(x_0,w1)+b1)/(1+torch.exp(torch.mv(x_0,w1)+b1))
    p=(1-temp1*p)*temp1+temp2*p
    prod=(-torch.log(p)).sum()
    prod.backward()
    w1.data=w1.data-lr*w1.grad.data
    b1.data=b1.data-lr*b1.grad.data
    if(flag-prod.data<0.01):
        print(prod.data)
        break
    flag=prod.data
    print(f"w1,b1,prod:{w1,b1,prod}")
print(f"w1,b1,prod:{w1,b1,prod}")
print(torch.exp(torch.mv(x_0,w1)+b1)/(1+torch.exp(torch.mv(x_0,w1)+b1)))
print(y_0)
#创建会有不同id，运算也会有不同id，除了赋值，其他的都会产生不同id。同时只有.data是在id不变的情况下运算的。
#创建时候的id变化、运算时候的id变化。

总结

无论是Logistic模型还是后面的最大熵模型都是输入$x$给出对应的条件类别分布概率，从而可以用极大似然估计求解，同时为了解决极大似然函数的值太小的问题，取对数来对数值进行放大。就可以得到交叉熵估计。最小化交叉熵就可以了。
下面是最大熵模型函数。

这个模型只要设计好模型的参数也是可以直接使用的，其中的$f_i(x,y)$是实值特征函数，它结合上前面的$w_i$，也就是说

算法重新推

理解一个算法最好的方法就是重新推一遍。
条件概率分布所满足的条件是：
$$\forall k,\sum _{i=1}^n\sum _{j=1}^m\widehat{P(x_i)}P(y_j|x_i)f_k(x_i,y_j)=\sum _{i=1}^n\sum _{j=1}^m\widehat{P(x_i,y_j)}{f}_k(x_i,y_j)$$

除了这个条件外还有：
$$\forall i,\sum _{j=1}^{m}P(y_j|x_i)=1$$

目标函数是：
$$\max H=-\sum _{i=1}^n\widehat{P(x_i)}\sum _{j=1}^{m}P(y_j|x_i)\log P(y_j|x_i)$$

变为极小化：
$$\min H=\sum _{i=1}^n\widehat{P(x_i)}\sum _{j=1}^{m}P(y_j|x_i)\log P(y_j|x_i)$$

所以得到的带有拉格朗日乘数的就是：
$$\begin{array}{rl}L=& \sum _{i=1}^n\widehat{P(x_i)}\sum _{j=1}^{m}P(y_j|x_i)\log P(y_j|x_i)-\\ & \sum _{k=1}^t{w}_k[\sum _{i=1}^n\sum _{j=1}^m\widehat{P(x_i)}P(y_j|x_i)f_k(x_i,y_j)-\sum _{i=1}^n\sum _{j=1}^m\widehat{P(x_i,y_j)}{f}_k(x_i,y_j)]-\\ & \sum _{i=1}^n{w}_{0i}[\sum _{j=1}^{m}P(y_j|x_i)-1]\end{array}$$

这样整个目标函数就确定下来了，接下来就是对其进行求偏导，之前我怎么也想不通是怎么求偏导，甚至还以为是泛函，走了一点弯路，后来才明白，他把每个条件概率，都看做了变量，比如：$P(y_1|x_1),P(y_2|x_1),P(y_m|x_n)$，其中对变量进行求导只要我们把上述累加形式的目标函数展开就可以发现：
$$\begin{array}{rl}L=& \widehat{P(x_1)}[P(y_1|x_1)\log (P(y_1|x_1))+\cdots +P(y_m|x_1)\log (P(y_m|x_1))]+\cdots +\\ & \widehat{P(x_n)}[P(y_1|x_n)\log (P(y_1|x_n))+\cdots +P(y_m|x_n)\log (P(y_m|x_n))]-\\ & w_1[\widehat{P(x_1)}P(y_1|x_1)f_1(x_1,y_1)+\cdots +\widehat{P(x_1)}P(y_m|x_1)f_1(x_1,y_m)+\cdots +\\ & \widehat{P(x_n)}P(y_1|x_n)f_1(x_n,y_1)+\cdots +\widehat{P(x_n)}P(y_m|x_n)f_1(x_n,y_m)]-\cdots -\\ & w_t[\widehat{P(x_1)}P(y_1|x_1)f_t(x_1,y_1)+\cdots +\widehat{P(x_1)}P(y_m|x_1)f_t(x_1,y_m)+\cdots +\\ & \widehat{P(x_n)}P(y_1|x_n)f_t(x_n,y_1)+\cdots +\widehat{P(x_n)}P(y_m|x_n)f_t(x_n,y_m)]-\\ & w_{01}[P(y_1|x_1)+\cdots +P(y_m|x_1)-1]-w_{02}[P(y_1|x_2)+\cdots +P(y_m|x_2)-1]-\\ & w_{0n}[P(y_1|x_n)+\cdots +P(y_m|x_n)-1]+\sum _{k=1}^t{w}_k\sum _{i=1}^n\sum _{j=1}^m\widehat{P(x_i,y_j)}{f}_k(x_i,y_j)\end{array}$$

然后我们对各个变量求偏导，比如：
$$\begin{array}{rl}\frac{\partial L}{\partial P(y_1|x_1)}=& \widehat{P(x_1)}[\log (P(y_1|x_1))+1]-w_1\widehat{P(x_1)}{f}_1(x_1,y_1)-\\ & w_t\widehat{P(x_1)}{f}_t(x_1,y_1)-w_{01}\end{array}$$

其他的也是类似：
$$\begin{array}{rl}\frac{\partial L}{\partial P(y_s|x_r)}=& \widehat{P(x_r)}[\log (P(y_s|x_r))+1]-w_1\widehat{P(x_r)}{f}_1(x_r,y_s)-\\ & w_t\widehat{P(x_r)}{f}_t(x_r,y_s)-w_{0r}\end{array}$$

令他们等于零，可以得到：
$$P(y_1|x_1)=\exp (\frac{w_{01}}{\widehat{P(x_1)}}+w_t{f}_t(x_1,y_1)+\cdots +w_1{f}_1(x_1,y_1)-1)$$

$$P(y_s|x_r)=\exp (\frac{w_{0r}}{\widehat{P(x_r)}}+w_t{f}_t(x_r,y_s)+\cdots +w_1{f}_1(x_r,y_s)-1)$$

将上述结果带入上式：
$$\begin{array}{rl}L=& \widehat{P(x_1)}[P(y_1|x_1)\log (P(y_1|x_1))+\cdots +P(y_m|x_1)\log (P(y_m|x_1))]+\cdots +\\ & \widehat{P(x_n)}[P(y_1|x_n)\log (P(y_1|x_n))+\cdots +P(y_m|x_n)\log (P(y_m|x_n))]-\\ & w_1[\widehat{P(x_1)}P(y_1|x_1)f_1(x_1,y_1)+\cdots +\widehat{P(x_1)}P(y_m|x_1)f_1(x_1,y_m)+\cdots +\\ & \widehat{P(x_n)}P(y_1|x_n)f_1(x_n,y_1)+\cdots +\widehat{P(x_n)}P(y_m|x_n)f_1(x_n,y_m)]-\cdots -\\ & w_t[\widehat{P(x_1)}P(y_1|x_1)f_t(x_1,y_1)+\cdots +\widehat{P(x_1)}P(y_m|x_1)f_t(x_1,y_m)+\cdots +\\ & \widehat{P(x_n)}P(y_1|x_n)f_t(x_n,y_1)+\cdots +\widehat{P(x_n)}P(y_m|x_n)f_t(x_n,y_m)]-\\ & w_{01}[P(y_1|x_1)+\cdots +P(y_m|x_1)-1]-w_{02}[P(y_1|x_2)+\cdots +P(y_m|x_2)-1]-\\ & w_{0n}[P(y_1|x_n)+\cdots +P(y_m|x_n)-1]+\sum _{k=1}^t{w}_k\sum _{i=1}^n\sum _{j=1}^m\widehat{P(x_i,y_j)}{f}_k(x_i,y_j)\\ =& \widehat{P(x_1)}[P(y_1|x_1)(\frac{w_{01}}{\widehat{P(x_1)}}+w_t{f}_t(x_1,y_1)+\cdots +w_1{f}_1(x_1,y_1)-1)+\cdots +\\ & P(y_m|x_1)(\frac{w_{01}}{\widehat{P(x_1)}}+w_t{f}_t(x_1,y_m)+\cdots +w_1{f}_1(x_1,y_m)-1)]+\cdots +\\ & \widehat{P(x_n)}[P(y_1|x_n)(\frac{w_{0n}}{\widehat{P(x_n)}}+w_t{f}_t(x_n,y_1)+\cdots +w_1{f}_1(x_n,y_1)-1)+\cdots +\\ & P(y_m|x_n)(\frac{w_{0n}}{\widehat{P(x_n)}}+w_t{f}_t(x_n,y_m)+\cdots +w_1{f}_1(x_n,y_m)-1)]-\\ & w_1[\widehat{P(x_1)}P(y_1|x_1)f_1(x_1,y_1)+\cdots +\widehat{P(x_1)}P(y_m|x_1)f_1(x_1,y_m)+\cdots +\\ & \widehat{P(x_n)}P(y_1|x_n)f_1(x_n,y_1)+\cdots +\widehat{P(x_n)}P(y_m|x_n)f_1(x_n,y_m)]-\cdots -\\ & w_t[\widehat{P(x_1)}P(y_1|x_1)f_t(x_1,y_1)+\cdots +\widehat{P(x_1)}P(y_m|x_1)f_t(x_1,y_m)+\cdots +\\ & \widehat{P(x_n)}P(y_1|x_n)f_t(x_n,y_1)+\cdots +\widehat{P(x_n)}P(y_m|x_n)f_t(x_n,y_m)]-\\ & w_{01}[P(y_1|x_1)+\cdots +P(y_m|x_1)-1]-w_{02}[P(y_1|x_2)+\cdots +P(y_m|x_2)-1]-\\ & w_{0n}[P(y_1|x_n)+\cdots +P(y_m|x_n)-1]+\sum _{k=1}^t{w}_k\sum _{i=1}^n\sum _{j=1}^m\widehat{P(x_i,y_j)}{f}_k(x_i,y_j)\\ =& \sum _{i=1}^n{w}_{0i}+\sum _{k=1}^t{w}_k\sum _{i=1}^n\sum _{j=1}^m\widehat{P(x_i,y_j)}{f}_k(x_i,y_j)-\widehat{P(x_1)}\sum _{i=1}^{m}P(y_i|x_1)-\cdots -\\ & \widehat{P(x_n)}\sum _{i=1}^{m}P(y_i|x_n)\end{array}$$

求使得上式达到最大值的$w_{0i},w_k$参数，然后带入上面的$P(y_s|x_r)$就是最大熵模型。
上式的表达式为：
$$\begin{array}{rl}L=& \sum _{i=1}^n{w}_{0i}+\sum _{k=1}^t{w}_k\sum _{i=1}^n\sum _{j=1}^m\widehat{P(x_i,y_j)}{f}_k(x_i,y_j)-\widehat{P(x_1)}\sum _{i=1}^{m}P(y_i|x_1)-\cdots -\\ & \widehat{P(x_n)}\sum _{i=1}^{m}P(y_i|x_n)\\ =& \sum _{i=1}^n{w}_{0i}+\sum _{k=1}^t{w}_k\sum _{i=1}^n\sum _{j=1}^m\widehat{P(x_i,y_j)}{f}_k(x_i,y_j)-\\ & \widehat{P(x_1)}\sum _{i=1}^m\exp (\frac{w_{01}}{\widehat{P(x_1)}}+w_t{f}_t(x_1,y_i)+\cdots +w_1{f}_1(x_1,y_i)-1)-\cdots -\\ & \widehat{P(x_n)}\sum _{i=1}^m\exp (\frac{w_{0n}}{\widehat{P(x_n)}}+w_t{f}_t(x_n,y_i)+\cdots +w_1{f}_1(x_n,y_i)-1)\\ =& \end{array}$$

把上式改为求最小值的形式

$$\begin{align*}
\frac{\partial{L}}{\partial P}=&\sum_{i=1}^{n}\widehat{P(x_i)}\sum_{j=1}^{m}(\log P(y_j|x_i)+1)-\\
&\sum_{k=1}^{t}w_k[\sum_{i=1}^{n}\sum_{j=1}^{m} \widehat{P(x_i)}f_k(x_i,y_j)]-\\
&\sum_{i=1}^{n}w_{0i}[\sum_{j=1}^{m}]\\
=&\sum_{i=1}^{n}\widehat{P(x_i)}[\sum_{j=1}^{m}(\log P(y_j|x_i)+1)-\sum_{k=1}^{t}w_k\sum_{j=1}^{m} f_k(x_i,y_j)-w_{0i}\sum_{j=1}^{m}]\\
=&\sum_{i=1}^{n}\sum_{j=1}^{m}\widehat{P(x_i)}[(\log P(y_j|x_i)+1)-\sum_{k=1}^{t}w_k f_k(x_i,y_j)-w_{0i}]\\
\end{align*}$$

泛函没有学过，所以对这种以函数为自变量的不是很熟悉，只是从感觉上进行化简的。
所以有：

$$\begin{array}{rl}P(y_j|x_i)=& \exp (-1+\sum _{k=1}^t{w}_k{f}_k(x_i,y_j)+w_{0i})\\ =& \frac{\exp ({\sum }_{k=1}^t{w}_k{f}_k(x_i,y_j))}{\exp (1-w_{0i})}\end{array}$$

由于：
$$\sum _{j=1}^m\frac{\exp ({\sum }_{k=1}^t{w}_k{f}_k(x_i,y_j))}{\exp (1-w_{0i})}=1$$

所以有：
$$\exp (1-w_{0i})=\sum _{j=1}^m\exp (\sum _{k=1}^t{w}_k{f}_k(x_i,y_j))$$