《统计学习方法》第八章: 提升方法 读书笔记

8.提升方法

8.1几个概念

• 集成学习:
  使用一系列学习器进行学习，使用某种规则将基本分类器组和，得到比单个学习器效果更好的模型。
  • 序列方法，当前模型进行学习时，依赖上一个模型的训练结果
  • 并行方法，模型间没有依赖关系
• 强可学习：
  一个概念/类，如果存在多项式的学习算法，能正确率很高进行学习，这个概念/类是强可学习的。
• 弱可学习：
  一个概念/类，如果存在多项式的学习算法，学习的正确率仅比随即猜测略好，这个概念是弱可学习的。
• PAC学习框架（probably approximately correct，很可能接近正确的）
  • 等价于训练误差上界定理，用训练误差和$ϵ$项以一定的概率控制泛化误差
  • 泛化误差上界：对于函数f，至少以概率$1-\delta$,以下不等式成立
    $$R(f)⩽\hat{R}(f)+ϵ(d,N,\delta )$$
    $$ϵ(d,N,\delta )=\sqrt{\frac{1}{2N}(logd+log\frac{1}{\delta })}$$
  • 在PAC的学习框架下，一个概念是强可学习的充要条件是弱可学习的

8.2加法模型的向前分步算法

8.2.1加法模型

• 模型：加法模型，表示为
  $$f(x)=\sum _{m=1}^M{\beta }_{m}b(x;{\gamma }_m)$$
  其中$b(x;{\gamma }_m)$是基函数,${\gamma }_m$是参数，${\beta }_m$是系数 (同一个基函数，只是参数不同)
• 损失函数（极小化）：
  $$\underset{{\beta }_m,{\gamma }_m}{\min }\sum _{i=1}^{N}L(y_i,\sum _{m=1}^M{\beta }_{m}b(x_i;{\gamma }_m))$$
• 算法：向前分步算法
  学习加法模型时，从前向后，每一步只学习一个基函数及其系数，逐步优化损失函数，即可以简化优化的复杂度。即每步只优化${\min }_{\beta ,\gamma }{\sum }_{i=1}^{N}L(y_i,\beta b(x_i;\gamma ))$

8.2.2具体算法

输入：训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) , } T=\{(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N),\} T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​),}；损失函数$L(y,f(x));$基函数集 { b ( x , r ) } \{b(x,r)\} {b(x,r)}
输出：加法模型f(x)

• (1)初始化$f_0(x)=0$
• (2)每轮训练一个基本学习器${\beta }_{m}b(x;r_m),m=1,2,\cdots ,M$，且到当前轮时 $f_m(x)=f_{m-1}(x)+{\beta }_{m}b(x;r_m)$
  • (a) 极小化损失函数
    $$\begin{array}{rl}({\beta }_m,{\gamma }_m)& =arg\underset{\beta ,\gamma }{\min }\sum _{i=1}^{N}L(y_i,f_m(x))\\ & =arg\underset{\beta ,\gamma }{\min }\sum _{i=1}^{N}L(y_i,f_{m-1}(x)+{\beta }_{m}b(x;r_m))\end{array}$$
    得到参数${\beta }_m,{\gamma }_m$
  • (b) 更新$f_m(x)=f_{m-1}(x)+{\beta }_{m}b(x;r_m)$
• (3) 得到加法模型 $f(x)=f_M(x)={\sum }_{m=1}^M{\beta }_{m}b(x;{\gamma }_m)$

8.3 提升方法

• 主要思想：
  • 如果发现了“弱学习算法”，将其提升为“强学习算法”。
  • 即从一个弱学习算法出发，通过反复学习不同的参数，得到一系列基本分类器，通过组和这些弱分类器，构成一个强分类器。
  • 大多数的提升方法：在每轮学习中改变训练数据的概率分布（即训练数据的权值分布）；在下轮学习中通过有新的概率分布的训练数据，用相同的基本学习方法学习到不同的参数，构成另一个基本分类器；将这些基本分类器组和为强分类器。
    • 问题一：如何改变训练数据的概率分布
    • 问题二：如何将弱分类器（基本分类器）组和成一个强分类器

8.3.1 AdaBoost算法

• 用于解决二分类问题
• 每轮训练中，提高被前一轮弱分类器错误分类的样本的权值，降低被正确分类的样本的权值
• 通过加权多数表决的方法组和弱分类器：加大分类误差率小的弱分类器的权值，使其有更多的决定权；减少分类误差率大的弱分类器的权值，使其有更小的决定作用。
• 在学习过程中不断减少训练误差，即分类误差率

AdaBoost算法的解释

• 模型：二分类加法模型，$f(x)={\sum }_{m=1}^M{\alpha }_m{G}_m(x)$
• 损失函数：指数函数,$L=\sum exp(-yf(x))$
• 学习算法：向前分步算法

在第m轮学习时，使损失函数最小，得到${\alpha }_m,G_m(x)$
$$\begin{array}{rl}({\alpha }_m,G_m(x))& =arg\underset{\alpha ,G}{\min }\sum _{i=1}^{N}exp(-y_i{f}_m(x_i))\\ & =arg\underset{\alpha ,G}{\min }\sum _{i=1}^{N}exp[-y_i(f_{m-1}(x_i)+\alpha G(x_i))]\\ L& =\sum _{i=1}^{N}exp[-y_i(f_{m-1}(x_i)+\alpha G(x_i))]\\ & =\sum _{i=1}^N[exp(-y_i{f}_{m-1}(x_i))exp(-y_i\alpha G(x_i))]\\ & =\sum _{i=1}^N\overline{w_{mi}}exp(-y_i\alpha G(x_i))\end{array}$$
其中$\overline{w_{mi}}=exp(-y_i{f}_{m-1}(x_i))$，与待求参数$\alpha ,G$无关。
由于模型的基本模型是二分类器， y ∈ { − 1 , 1 } , α > 0 y \in \{-1,1\},\alpha >0 y∈{−1,1},α>0，因此第m轮
$$G_m^{\ast }(x)=\arg \underset{G}{\min }\sum _{i=1}^n\overline{w_{mi}}I(y_i̸=G(x_i))$$
求解${\alpha }^{\ast }$
$$\begin{array}{rl}L& =\sum _{i=1}^N\overline{w_{mi}}exp(-y_i\alpha G(x_i))\\ & =\sum _{y_i=G_m(x_i)}\overline{w_{mi}}exp(-\alpha )+\sum _{y_i̸=G_m(x_i)}\overline{w_{mi}}exp(\alpha )\\ & =(e^{\alpha }-e^{-\alpha })\sum _{i=1}^n\overline{w_{mi}}I(y_i̸=G_m(x_i))+e^{-\alpha }\sum _{i=1}^n\overline{w_{mi}}\\ \frac{\partial L}{\partial \alpha }& =(e^{\alpha }+e^{-\alpha })\sum _{i=1}^n\overline{w_{mi}}I(y_i̸=G_m(x_i))-e^{-\alpha }\sum _{i=1}^n\overline{w_{mi}}=0\\ e^{2\alpha }& =\frac{{\sum }_{i=1}^n\overline{w_{mi}}}{{\sum }_{i=1}^n\overline{w_{mi}}I(y_i̸=G_m(x_i))}-1\\ {\alpha }^{\ast }& =\frac{1}{2}ln\frac{{\sum }_{i=1}^n\overline{w_{mi}}}{{\sum }_{i=1}^n\overline{w_{mi}}I(y_i̸=G_m(x_i))}-1\end{array}$$
令
$$\begin{array}{rl}{e}_m& =\frac{{\sum }_{i=1}^n\overline{w_{mi}}I(y_i̸=G_m(x_i))}{{\sum }_{i=1}^n\overline{w_{mi}}}\\ & =\sum _{i=1}^n{w}_{mi}I(y_i̸=G_m(x_i))\end{array}$$
得到${\alpha }^{\ast }=\frac{1}{2}ln(\frac{1-e_m}{e_m})$
其中
$$\begin{array}{rl}{w}_{mi}& =\frac{\overline{w_{mi}}}{{\sum }_{i=1}^n\overline{w_{mi}}}=\frac{exp(-y_i{f}_{m-1}(x_i))}{{\sum }_{i=1}^{n}exp(-y_i{f}_{m-1}(x_i))}\\ w_{m+1,i}& =\frac{\overline{w_{m+1,i}}}{{\sum }_{i=1}^n\overline{w_{m+1,i}}}=\frac{exp(-y_i{f}_m(x_i))}{{\sum }_{i=1}^{n}exp(-y_i{f}_m(x_i))}\\ & =\frac{exp(-y_i{f}_{m-1}(x_i))exp(-y_i{\alpha }_m{G}_m(x_i))}{{\sum }_{i=1}^{n}exp(-y_i{f}_{m-1}(x_i))exp(-y_i{\alpha }_m{G}_m(x_i))}\\ & =\frac{exp(-y_i{f}_{m-1}(x_i))}{{\sum }_{i=1}^{n}exp(-y_i{f}_{m-1}(x_i))}\frac{exp(-y_i{\alpha }_m{G}_m(x_i))}{{\sum }_{i=1}^n\frac{exp(-y_i{f}_{m-1}(x_i))}{{\sum }_{i=1}^{n}exp(-y_i{f}_{m-1}(x_i))}exp(-y_i{\alpha }_m{G}_m(x_i))}\\ & =\frac{w_{mi}exp(-y_i{\alpha }_m{G}_m(x_i))}{{\sum }_{i=1}^n{w}_{mi}exp(-y_i{\alpha }_m{G}_m(x_i))}\end{array}$$
总结：

• 每轮迭代时，训练得到该轮基本学习器$G_m^{\ast }$；
• 计算$e_m={\sum }_{i=1}^n{w}_{mi}I(y_i̸=G_m(x_i))$；
• 计算这一轮学习器的权重${\alpha }^{\ast }=\frac{1}{2}ln(\frac{1-e_m}{e_m})$；
• 更新每个样本的下一轮权重$w_{m+1,i}=\frac{w_{mi}exp(-y_i{\alpha }_m{G}_m(x_i))}{{\sum }_{i=1}^n{w}_{mi}exp(-y_i{\alpha }_m{G}_m(x_i))}$

算法

输入：训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) , } T=\{(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N),\} T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​),},其中 x i ∈ X ⊆ R n , y i ∈ Y = { − 1 , + 1 } x_i \in X \subseteq R^n,y_i \in Y=\{-1,+1\} xi​∈X⊆Rn,yi​∈Y={−1,+1}；及弱学习算法
输出：最终分类器G(x)

• (1) 初始化训练数据的权值分布，$$D_1=(w_{11},\cdots ,w_{1i},\cdots ,w_{1N}),w_{1_i}=\frac{1}{N}$$
• (2) 反复学习分类器，共要学习M个弱分类器，对于第m次学习，$m=1,2,\cdots ,M$
  • (a) 使用具有权值分布$D_m$的训练数据集学习，得到基本分类器
    G m ( x ) : X → { + 1 , − 1 } G_m(x):X \rightarrow \{+1,-1\} Gm​(x):X→{+1,−1}
  • (b) 计算$G_m(x)$在训练数据集上的分类误差率($e_m<0.5$永远成立，可以把正负的标记反过来)
    $$e_m=P(G_m(x_i)̸=y_i)=\sum _{i=1}^N{w}_{m_i}I(G_m(x_i)̸=y_i)$$
  • (c )计算$G_m(x)$的系数(分类误差率$e_m$越小，${\alpha }_m$越大，且${\alpha }_m>0$，在最终分类器中作用越大)
    $${\alpha }_m=\frac{1}{2}log\frac{1-e_m}{e_m}$$
  • (d) 更新训练数据集的权值分布（当样本$(x_i,y_i)$在上一个分类器中误分类时,即$y_i{G}_m(x_i)<0$，$w_{m+1}$会被放大）
    $$D_{m+1}=(w_{m+1,1},\cdots ,w_{m+1,i},\cdots ,w_{m+1,N})$$
    $$w_{m+1,i}=\frac{w_{mi}}{Z_m}exp(-{\alpha }_m{y}_i{G}_m(x_i)),i=1,2,\cdots ,N$$
    $$Z_m=\sum _{i=1}^N{w}_{mi}exp(-{\alpha }_m{y}_i{G}_m(x_i))$$
    其中$Z_m$是一个规范化因子，使$D_{m+1}$称为一个概率分布,因为$\sum w_{mi}=1$
• (3) 构建基本分类器的线性组和
  $$f(x)=\sum _{m=1}^M{\alpha }_m{G}_m(x)$$
  。得到最终的分类器
  $$G(x)=sign(f(x))=sign(\sum _{m=1}^M{\alpha }_m{G}_m(x))$$

8.3.2 提升树

• 提升树是以树做基本分类器的提升方法
  • 回归树，解决回归问题；当采用的损失函数不同时，可用算法不同
    • 向前分布算法：采用平方误差损失函数
    • 梯度提升算法：其他损失函数
  • 分类树，解决分类问题（二分类树的情况与AdaBoost以分类树做基本分类器的情况类似）
• 新一轮的训练模型根据损失函数最小化求取
• 基本分类器的组和方式: 相加$f_M(x)={\sum }_{m=1}^{M}T(X;{\Theta }_m)$
  $T(X;{\Theta }_m)$表示决策树

CART生成二叉回归树算法

• 模型表示：将输入空间X划分为两个单元R1,R2；对应不同的固定输出c1,c2。将模型表示为$f(x)={\sum }_{m=1}^2{c}_{m}I(x\in R_m)$。
• 损失函数：平方误差${\sum }_{x_i\in R_m}(y_i-f(x_i){)}^2={\sum }_{x_i\in R_1}(c_1-y_i{)}^2+{\sum }_{x_i\in R_2}(c_2-y_i{)}^2$
  损失函数最小化可得，对于每个确定区域，$f(x)=c_m=\frac{1}{n}{\sum }_{x_i\in R_m}{y}_i$
• 算法：
  • (1)对于每个样本,$i=1,2,\cdots ,N$
    • (a)选择该样本$x$值，将输入空间切分为$X⩽x,X>x$两部分；对样本集切分为两个子集
    • (b)分别计算两个子集的$y$值平均值$\frac{1}{n_m}{\sum }_{x\in R_m}y$，做二叉树模型的参数$c_m$
    • (c ) 计算损失函数$L={\sum }_{x_i\in R_1}(y_i-c_1{)}^2+{\sum }_{x_j\in R_2}(y_j-c_2{)}^2$
  • (2)比较所有的损失函数，损失函数最小时的样本$x$值为最优切分点。
• 算法总结：
  $$\underset{j,s}{\min }[\underset{c_1}{\min }\sum _{x_i\in R_1(j,s)}(y_i-c1{)}^2+\underset{c_2}{\min }\sum _{x_j\in R_2(j,s)}(y_j-c2{)}^2]$$
  即找到使损失函数最小的第j个样本的x取值s，和使损失函数最小的c1,c2(取平均值即可)

提升树算法

• 模型：将输入空间划分为J个互不相交的区域$R_1,R_2,\cdots ,R_J$，并在每个区域上确定输出的常量$c_j$，树可以表示为
  $$T(x;\Theta )=\sum _{j=1}^J{c}_{j}I(x\in R_j)$$
  其中参数 Θ = { ( R 1 , c 1 ) , ( R 2 , c 2 ) , ⋯ &ThinSpace; , ( R J , c J ) } \Theta = \{(R_1,c_1),(R_2,c_2),\cdots,(R_J,c_J)\} Θ={(R1​,c1​),(R2​,c2​),⋯,(RJ​,cJ​)}表示树的区域划分和各区域上的常数，J是回归树的复杂度即叶节点个数

• 损失函数：平方误差损失函数，每轮训练的损失函数为
  $$\begin{array}{rl}L(y,f(x))& =(y-f(x){)}^2\\ L(y,f_{m-1}(x)+T(x;\Theta ))& =[y-f_{m-1}(x)-T(x;\Theta ){]}^2\\ & =[r-T(x;\Theta ){]}^2\end{array}$$
  其中$r=y-f_{m-1}(x)$是当前模型拟合数据的残差。因此训练本轮回归树的数据源为上一轮训练结果（$f_{m-1}(x)={\sum }_{i=1}^{m-1}T(x,{\Theta }_i)$）的残差。

• 算法
  输入：训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯ &ThinSpace; , ( x N , y N ) } T=\{(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)\} T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}
  输出：提升树$f_M(x)$

  • (1)初始化$f_0(x)=0$
  • (2)对m=1,2,…,M
    • (a) 按照$r=y_i-f_{m-1}(x_i),i=1,2,\cdots ,N$计算残差
    • (b)拟合残差$r$学习一个回归树，得到$T(x;{\Theta }_m)$
    • (c )更新$f_m=f_{m-1}+T(x;{\Theta }_m)$
  • (3)得到回归问题提升树$f_M(x)={\sum }_{m=1}^{M}T(x;{\Theta }_m)$

梯度提升算法

• 对于一般损失函数（非平方损失函数和指数损失函数），每步优化并不简单，用损失函数的负梯度$-[\frac{\partial L(y,f(x_i))}{\partial f(x_i)}{]}_{f(x)=f_{m-1}(x)}$作为回归问题中残差的近似值，拟合一个回归树
• 利用损失函数的负梯度作为残差的近似值，拟合一个回归树
• 算法:
  输入：训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯ &ThinSpace; , ( x N , y N ) , } T=\{(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N),\} T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​),},其中$x_i\in X\subseteq R^n,y_i\in Y\subseteq R$；损失函数$L(y,f(x))$
  输出：提升树${\hat{f}}_{(}x)$
  • (1)初始化(估计使损失函数极小化的常数值c，是只有根节点的树)
    $$f_0(x)=arg\underset{c}{\min }\sum _{i=1}^{N}L(y_i,c)$$
  • (2)对m=1,2,…,M
    • (a)对i=1,2,…,N计算损失函数的负梯度在当前模型的值
      $$r_{mi}=-[\frac{\partial L(y_i,f(x_i))}{\partial f(x_i)}{]}_{f(x)=f_{m-1}(x)}$$
      （对于一般的损失函数，此值为残差的估计。假设$L=[y-f(x){]}^2,\partial L/\partial f=-2(y-f(x))$ ; 残差前有系数，因此需要根据(c )步计算$c_m$)
    • (b) 对$r_{mi}$拟合一个回归树，得到第m棵树的叶节点区域$R_{mj},j=1,2,\cdots ,J$；
    • (c ) 对$j=1,2,\cdots ,J$，使损失函数最小化求得该区域回归树参数c。计算
      $$c_{mj}=arg\underset{c}{\min }\sum _{x_i\in R_{mj}}L(y_i,f_{m-1}(x_i)+c)$$
      利用线性搜索估计叶节点区域的值，使损失函数极小化(c是待求的最优值$c_{mj}$)
    • (d)更新$f_m(x)=f_{m-1}(x)+{\sum }_{j=1}^J{c}_{mj}I(x\in R_{mj})$
• 得到回归树
  $$\hat{f}(x)=f_M(x)=\sum _{m=1}^M\sum _{j=1}^J{c}_{mj}I(x\in R_{mj})$$
  对于对于每个待预测值，在每棵基本树上只有1个区域内$I$函数不为0，此函数最终只有M项

---

8.4 AdaBoost训练误差证明

8.4.1 训练误差上界

$$\frac{1}{N}\sum _{i=1}^{N}I(G(x_i)̸=y_i)⩽\frac{1}{N}\sum _{i=1}^{N}exp(-y_{i}f(x_i))=\prod _{m=1}^M{Z}_m$$
$G(x)=sign({\sum }_{m=1}^M{\alpha }_m{G}_m(x))$,
$f(x)={\sum }_{m=1}^M{\alpha }_m{G}_m(x)$,
$Z_m={\sum }_{i=1}^N{w}_{mi}exp(-{\alpha }_m{y}_i{G}_m(x_i))$。
此定理说明：

• 使$Z_m$最小，从而使训练误差下降最快

• 在每轮训练中，$Z_m={\sum }_{i=1}^N{w}_{mi}exp(-{\alpha }_m{y}_i{G}_m(x_i))$；$w_{mi}$在上一轮训练中确定，$G_m(x_i)$在本轮训练中确定；

• 通过$\min Z_m$求${\alpha }_m$，使训练误差上界下降最快
  $$\frac{\partial Z_m}{\partial {\alpha }_m}=\sum _{i=1}^N-w_{mi}{y}_i{G}_m(x_i)exp(-{\alpha }_m{y}_i{G}_m(x_i))=0$$
  算法中${\alpha }_m=\frac{1}{2}log\frac{1-e_m}{e_m}$就是上式的一个解
  证：

• （1）证$I(G(x_i)̸=y_i)⩽exp(-y_{i}f(x_i))$
  当$G(x_i)̸=y_i$,此时 $-y_{i}f(x_i)>0$,因此 $exp(-y_{i}f(x_i))>I(G(x_i)̸=y_i)=1$;
  当$G(x_i)=y_i$,此时$-y_{i}f(x_i)<0$,因此 $exp(-y_{i}f(x_i))>I(G(x_i)̸=y_i)=0$;

• (2)证$\frac{1}{N}{\sum }_{i=1}^{N}exp(-y_{i}f(x_i))={\prod }_m{Z}_m$
  $$\begin{array}{rl}& \frac{1}{N}\sum _{i=1}^{N}exp(-y_{i}f(x_i))\\ & =\frac{1}{N}\sum _{i=1}^{N}exp(-y_i\sum _{m=1}^M{\alpha }_m{G}_m(x_i))\\ & =\sum _{i=1}^N{w}_{1i}exp(-y_i\sum _{m=1}^M{\alpha }_m{G}_m(x_i))=\sum _{i=1}^N{w}_{1i}\prod _{m=1}^{M}exp(-y_i{\alpha }_m{G}_m(x_i))\\ & =\sum _{i=1}^N{w}_{1i}exp(-y_i{\alpha }_1{G}_1(x_i))\prod _{m=2}^{M}exp(-y_i{\alpha }_m{G}_m(x_i))\\ & =Z_1\sum _{i=1}^N{w}_{2i}\prod _{m=2}^{M}exp(-y_i{\alpha }_m{G}_m(x_i))=\prod _{j=1}^{M-1}{Z}_j\sum _{i=1}^N{w}_{Mi}exp(-y_i{\alpha }_M{G}_M(x_i))\\ & =\prod _{m=1}^M{Z}_m\end{array}$$

8.4.2二分类问题AdaBoost的训练误差界

$$\prod _{m=1}^M{Z}_m=\prod _{m=1}^M[2\sqrt{e_m(1-e_m)}]=\prod _{m=1}^M\sqrt{1-4{\gamma }_m^2}⩽exp(-2\prod _{m=1}^M{\gamma }_m^2)$$
其中
$e_m={\sum }_{y_i̸=G_m(x_i)}{w}_{mi}={\sum }_{i=1}^N{w}_{mi}I(y_i̸=G_m(x_i))$,
${\gamma }_m=\frac{1}{2}-e_m$,
此定理说明：

• $e_m$代表每轮的分类误差率，$e_m$越小分类效果越好，$r_m$越大
• $r_m$代表当前基本分类器对随机猜测结果的提升程度
• 不等式${\prod }_{m=1}^M{Z}_m⩽exp(-2{\prod }_{m=1}^M{\gamma }_m^2)$ 代表，随着训练轮数m的增加，训练误差减少，且降低的速度很快（指数）

证：

• 前半部分
  $$\begin{array}{rl}{Z}_m& =\sum _{i=1}^N{w}_{mi}exp(-{\alpha }_m{y}_i{G}_m(x_i))\\ & =\sum _{y_i=G_m(x_i)}{w}_{mi}{e}^{-{\alpha }_m}+\sum _{y_i̸=G_m(x_i)}{w}_{mi}{e}^{{\alpha }_m}\\ & =(1-e_m)e^{-{\alpha }_m}+e_m{e}^{{\alpha }_m}\\ & =2\sqrt{e_m(1-e_m)}=\sqrt{1-4{\gamma }_m^2}\end{array}$$
• 后半部分: ${\prod }_{m=1}^M\sqrt{1-4{\gamma }_m^2}⩽exp(-2{\prod }_{m=1}^M{\gamma }_m^2)$
  • 对$f(x)=(1-x{)}^{1/2}$，泰勒展开

    • 求导，$f^{\prime }(x)=-\frac{1}{2}(1-x{)}^{-\frac{1}{2}},f^{\prime \prime }(x)=-\frac{1}{4}(1-x{)}^{-\frac{3}{2}}$

    • 展开，$\begin{array}{rl}f(x)& =f(0)+x{f}^{\prime }(0)+\frac{1}{2}{x}^2{f}^{\prime \prime }(0)+....\\ & \approx 1-\frac{1}{2}x-\frac{1}{8}{x}^2\\ f(4r^2)& \approx 1-2r^2-2r^4\end{array}$

  • 对$g(x)=e^x$，泰勒展开
    • 求导，$g^{\prime }(x)=e^x,g^{\prime \prime }(x)=e^x$
    • 展开，$\begin{array}{rl}g(x)& =g(0)+x{g}^{\prime }(0)+\frac{1}{2}{x}^2{g}^{\prime \prime }(0)+....\\ & \approx 1+x+\frac{1}{2}{x}^2\\ g(-2r^2)& \approx 1-2r^2+2r^4\end{array}$
  • $f(4r^2)<g(-2r^2)$