习题6.1确认Logistic分布属于指数分布族。

解答:
解答思路:

1. 列出Logistic分布的定义
2. 列出指数分布族的定义
3. 通过指数倾斜，证明Logistic分布的分布函数无法表示成指数分布族的分布函数形式
   解答步骤:
   第1步: Logistic分布的定义
   根据书中第91页的Logistic分布:
   设 $X$ 是连续随机变量， $X$ 服从Logistic分布是指 $X$ 具有下列分布函数和密度函数:
   $$\begin{array}{c}F(x)=P(X⩽x)=\frac{1}{1+{\mathrm{e}}^{-(x-\mu )/\gamma }}\\ f(x)=F^{\prime }(x)=\frac{{\mathrm{e}}^{-(x-\mu )/\gamma }}{\gamma {\left(1+{\mathrm{e}}^{-(x-\mu )/\gamma }\right)}^2}\end{array}$$
   式中， $\mu$ 为位置参数， $\gamma >0$ 为形状参数。
   第2步：指数分布族的定义
   参考指数分布族的Wikipedia: https://en.wikipedia.org/wiki/Exponential family. 对于随机变量 $x$ ，在给定参数 $\theta$ 下，其概率分别满足如下形式:
   $$f(x\mid \theta )=h(x)g(\theta )\exp (\eta (\theta )\cdot T(x))$$
   称之为指数分布族。
   其中: $g(\theta )$ 表示归一化系数， $h(x)>0$

• 注: 这里我们将通过替换 $\eta (\theta )$ 来构造反例分布
  第3步: 证明Logistic分布的分布函数无法表示成指数分布族的分布函数形式
  根据指数分布族的Wikipedia: https://en.wikipedia.org/wiki/Exponential family.
  Other examples of distributions that are not exponential families are the F-distribution, Cauchy distribution, hypergeometric distribution and logistic distribution
  可知，Logistic分布不属于指数分布族
  证明思路:
  参考: https://stats.stackexchange.com/questions/275773/does-logistic-distribution-belongs-to-exponential-family.

1. 设 $\gamma =1$ ，可得单参数的Logistic分布；
2. 计算当 $\mu =0$ 时，函数 $f(x\mid \mu =0)$ ；
3. 根据Logistic分布的MGF (矩生成函数)，可得 $E\left({\mathrm{e}}^{\theta x}\right)$ ；
4. 根据指数倾斜的定义，证明单参数 $\theta$ 的指数倾斜密度函数无法表示成Logistic分布的密度函数形式；可证得，Logistic分布不属于指数分布族；
   证明步骤:
5. 单参数Logistic分布:
   设 $\gamma =1$ ，则单参数 $\mu$ 的Logistic分布:
   $$f(x\mid \mu )=\frac{{\mathrm{e}}^{-(x-\mu )}}{{\left(1+{\mathrm{e}}^{-(x-\mu )}\right)}^2}$$
6. 计算 $f(x\mid \mu =0)$
7. Logistic分布的MGF矩生成函数
   根据Logistic分布的Wikipedia: https://en.wikipedia.org/wiki/Logistic distribution
   Logistic的MGF矩生成函数 $M_X(\theta )$ :
   $$M_X(\theta )={\mathrm{e}}^{\mu t}B(1-st,1+st)$$
   其中 $t\in (-1/s,1/s)，B$ 表示Beta函数。
   可知，当 $\mu =0,s=1$ 时，
   $$M_X(\theta )=E\left({\mathrm{e}}^{\theta x}\right)=B(1-\theta ,1+\theta ),\theta \in (-1,1)$$
8. 证明单参数 $\theta$ 的指数倾斜密度函数无法表示成Logistic分布的形式
   根据指数倾斜的Wikipedia: https://en.wikipedia.org/wiki/Exponential tilting
   给定一个随机变量 $X$ ，其概率分布为 $P$ ，概率密度为 $f$ 和矩生成函数(MGF)为 $M_X(\theta )=E\left(e^{\theta x}\right)$ ，指数倾斜 $P_{\theta }$ 定义如下:
   $$P_{\theta }(X\in dx)=\frac{E\left[{\mathrm{e}}^{\theta X}I(X\in dx)\right]}{M_X(\theta )}={\mathrm{e}}^{\theta x-k(\theta )}P(X\in dx)$$
   其中， $k(\theta )$ 表示为累积生成函数 (CGF)，即 $\log E\left({\mathrm{e}}^{\theta X}\right)$ ，称 $P_{\theta }(X\in dx)=f_{\theta }(x)$ 为随机变量 $X$ 的 $\theta$-tilted密度分布。
   综上，我们将使用 $M_X(\theta )$ 替换 $\eta (\theta )$ ，可知
   $$f_{\theta }(x)={\mathrm{e}}^{\theta x-k(\theta )}{f}_0(x)$$
   其中， $k(\theta )=\log M_X(\theta )=B(1-\theta ,1+\theta ),\theta \in (-1,1)$ ，根据指数倾斜性质， $f_{\theta }(x)$ 无法表示Logistic分布的密度函数形式。 所以，Logistic分布不属于指数分布族。