统计学习方法 第六章习题答案

习题6.1

题目：确认逻辑斯谛分布属于指数分布族.
答：
先看看指数分布族的定义

逻辑斯谛回归是广义线性模型的一种，而广义线性模型与最大熵模型都是源于指数族分布。
对于二项逻辑斯蒂回归模型：

$P(Y=1|x)=\frac{\exp (w\cdot x)}{1+\exp (w\cdot x)}$
$P(Y=0|x)=\frac{1}{1+\exp (w\cdot x)}$
（跟上面的指数分布族公式符号不太一样，Y是指数分布族公式符号中的x，x是指数分布族公式符号$\eta$中的一个参数）

则有模型的分布列为：

$P(Y|x)=(\frac{\exp (w\cdot x)}{1+\exp (w\cdot x)}{)}^y(\frac{1}{1+\exp (w\cdot x)}{)}^{1-y}$

$P(Y|x)=exp(ylog(\frac{\exp (w\cdot x)}{1+\exp (w\cdot x)})+(1-y)log(\frac{1}{1+\exp (w\cdot x)}))$

取$\pi (x)=1+\exp (w\cdot x)$

$P(Y|x)=exp(ylog(\frac{\pi (x)}{\pi (x)+1})+(1-y)log(\frac{1}{1+\pi (x)}))$

$P(Y|x)=exp(ylog(\pi (x))-log(\pi (x)+1))$

则有

$h(y)=1$
$T(y)=y$
$\eta =log(\pi (x))$
$A(\eta )=log(\pi (x)+1)=log(exp(\eta )+1)$
得证
对于多项逻辑斯蒂回归模型
（多项的感觉有点问题，大家可以一起讨论哈）
$P(Y=k|x)=\frac{\exp \left(w_k\cdot x\right)}{1+{\sum }_{k=1}^{K-1}\exp \left(w_k\cdot x\right)},k=1,2,\cdots ,K-1$
$P(Y=K|x)=\frac{1}{1+{\sum }_{k=1}^{K-1}\exp \left(w_k\cdot x\right)}$
则分布列可以写为
$P(Y|x)=(\frac{\exp \left(w_k\cdot x\right)}{1+{\sum }_{k=1}^{K-1}\exp \left(w_k\cdot x\right)}{)}^{f(y)},k=1,2,\cdots ,K$

其中：

$f(y)=\{\begin{array}{ll}1,& y=k\\ 0,& y\ne k\end{array}$

${\sum }_{k=1}^{K}exp(w_k\cdot x)=1+{\sum }_{k=1}^{K-1}exp(w_k\cdot x)$
则有$P(Y|x)=exp(f(y)log(\frac{\exp \left(w_k\cdot x\right)}{1+{\sum }_{k=1}^{K-1}\exp \left(w_k\cdot x\right)}))$
同理有
$h(y)=1$
$T(y)=f(y)$
$\eta =log(\frac{\exp \left(w_k\cdot x\right)}{1+{\sum }_{k=1}^{K-1}\exp \left(w_k\cdot x\right)})$
$A(\eta )=0$

习题6.2

题目：写出逻辑斯谛回归模型学习的梯度下降算法.
对于逻辑斯谛模型，条件概率分布如下：
$P(Y=1|x)=\frac{\exp (w\cdot x+b)}{1+\exp (w\cdot x+b)}$
$P(Y=0|x)=\frac{1}{1+\exp (w\cdot x+b)}$
对数似然函数为：
$L(w)={\sum }_{i=1}^N\left[y_i\left(w\cdot x_i\right)-\log \left(1+\exp \left(w\cdot x_i\right)\right)\right]$
（对数似然函数计算在书的79页）
对$L(w)$求 $w$的导数
$\frac{\partial L(w)}{\partial w}={\sum }_{i=1}^N\left[x_i\cdot y_i-\frac{\exp \left(w\cdot x_i\right)\cdot x_i}{1+\exp \left(w\cdot x_i\right)}\right]$
则
$\nabla L(w)=\left[\frac{\partial L(w)}{\partial w^{(0)}},\dots ,\frac{\partial L(w)}{\partial w(m)}\right]$
算法流程：
（1）选取初值$w_0$，取$k=0$
（2）计算$L(w_k)$
（3）更新$w$，$w_{(k+1)}=w_{(k)}+{\lambda }_k\nabla L\left(w_k\right)$
（4）转（2）同时$k=k+1$，直到$L(w)$的变化范围在可接受范围内。

习题6.3

题目：写出最大熵模型学习的DFP算法.（关于一般的DFP算法参见附录B）
这个解答可以参考：https://blog.csdn.net/xiaoxiao_wen/article/details/54098476

参考

指数分布族
指数分布族笔记
指数分布族相关公式推导