李航统计学习：k近邻、决策树、最大熵、逻辑斯蒂回归、提升方法

k近邻–>决策树–>最大熵–>逻辑斯蒂回归–>提升方法

k近邻法（K-NN）是一种基本的用于分类与回归的方法。

其输入为：实例的特征向量，对应特征空间中的点
输出为：实例的类别，可以取多类。
k近邻假设给定一个训练数据集，其中的类别已经确定。分类时，对新的实例，根据其k个最近邻的训练实例的类别，通过多数表决等方式进行预测。

$$y=\arg \underset{c_j}{\max }\sum _{x_i\in N_k(x)}I(y_i=c_j),i=1,2,...,N;j=1,2,...,K(1)$$
其中， I 为指示函数, 当 $y_i=c_j$ 时 I 为1，否则为0.
k近邻模型的三要素：

• 距离度量 ：
  $$L_p(x_i,x_j)=(\sum _{i=1}^n|x_i^{(l)}-x_j^{(l)}{|}^p{)}^{\frac{1}{p}}(2)$$
  其中p≥1，当p=2时，为欧氏距离；当p=1时，为曼哈顿距离；当p=∞时，是各个坐标距离的最大值，切比雪夫距离。

• k值选择

  较0小的k值导致“学习”时的近似误差会减小，学习的估计误差会增大，预测结果对近邻的实例点非常敏感。带来模型复杂度的增加。
  较大的k值带来相反的结果，一般k值选取一个较小的数值，然后采用交叉验证法来选取最优的k值。

• 分类决策规则
  通常为多数表决，等价于经验风险最小化。

kd树的最近邻搜索
输入：已构造的kd树；目标点
输出：x的最近邻
（1）在kd树中找出包含目标点 x 的叶节点：从根节点出发，递归的向下访问kd树。若目标点 x 当前维的坐标小于切分点的坐标，则移动到左子节点，否则移动到右子节点 ，直到子节点为叶节点为止
（2）以此节点为“当前最近点”
（3）递归的向上回退，在每个节点进行以下操作：
（a）如果该节点保存的实例点比当前最近点距离目标点更近，则以该实例点为“当前最近点”
（b）当前最近点一定存在于该节点一个子节点对应的区域，检查该子节点的父节点的另一个子节点对应的区域是否有更近的点。具体地，检查另一子节点对应的区域是否与以目标点为球心，以目标点与“当前最近点”间的距离为半径的超球体相交。如果相交，可能在另一子节点对应区域内存在距目标点更近的点，移动到另一个子节点。截止，递归的进行最近邻搜索；如果不相交，向上回退。
（4）当回退到根节点时，搜索结束。最后的“当前最近点”即为 x 的最近邻点

决策树（DT）是一种基本的分类与回归方法。

决策树模型呈树形结构，在分类问题中，表示基于特征对视力进行分类的过程。可以认为是 if then 规则的集合，也可以认为是定义在特征空间与累空间上的条件概率分布。
其主要优点是模型具有可读性，分类速度快。

• 学习时利用训练数据，根据损失函数最小化的原则建立决策树模型。
• 预测时，对新的数据，利用决策树模型进行分类。
• 决策树学习的三个步骤：特征选择、决策树的生成、决策树的剪枝
• 决策树各叶节点上的条件概率往往偏向某一个类，即属于某一类的概率较大。
• 决策树分类时往往将该节点的实例强行划分到条件概率大的那一类。
  决策树学习的损失函数通常为正则化的极大似然函数。学习策略是以损失函数为目标函数的最小化。

引入信息增益：表示得知特征 X 的信息而使得类 Y 的信息的不确定性减少的程度
$$g(D,A)=H(D)-H(D|A)(3)$$
信息增益比：
$$g_R(D,A)=\frac{g(D,A)}{H_A(D)}(4)$$
其中，$H_A(D)=-{\sum }_{i=1}^n\frac{|D_i|}{|D|}{\log }_2\frac{|D_i|}{|D|}$，n 是特征 A 取值的个数

决策树的剪枝往往通过极小化决策树整体的损失函数或代价函数来实现。等价于正则化的极大似然估计
其损失函数可以定义为
$$C_{\alpha }(T)=\sum _{t=1}^{|T|}{N}_t{H}_t(T)+\alpha |T|(5)$$,其中经验熵为：$$H_t(T)=-\sum _k\frac{N_{tk}}{N_t}\log \frac{N_{tk}}{N_t}(6)$$
在损失函数中，将 (5) 的右端的第一项记为：$$C(T)=\sum _{t=1}^{|T|}{N}_t{H}_t(T)=-\sum _t\sum _k{N}_{tk}\log \frac{N_{tk}}{N_t}$$ 则有$$C_{\alpha }(T)=C(T)+\alpha |T|$$
C|T|表示模型对训练数据的预测误差，即拟合度，|T|表示叶子节点数目，模型复杂度

CART算法（classification and regression tree）：

其特征选择规则为：

• 对回归树用平方误差最小准则；

$$f(x)=\sum _{m=1}^M{c}_{m}I(x\in R_m)$$
$$\min \sum _{x_i\in R_m}(y_i-f(x_i){)}^2$$
即：
$$\underset{j,s}{\min }\left[\underset{c_1}{\min }\sum _{x_i\in R_1(j,s)}(y_i-c_1{)}^2+\underset{c_2}{\min }\sum _{x_i\in R_2(j,s)}(y_i-c_2{)}^2\right]$$
其中，$R_1$,$R_2$表示第 j 个变量 x^(j) 和它的取值s作为切分变量和切分点得到的两个区域

• 对分类树用基尼指数（Gini index）最小化准则。
  $$Gini(p)=\sum _{k=1}^K{p}_k(1-p_k)=1-\sum _{k=1}^K{p}_k^2$$
  $$Gini(D)=1-\sum _{k=1}^K{\left(\frac{|C_k|}{|D|}\right)}^2$$
  $$Gini(D,A)=\frac{|D_1|}{|D|}Gini(D_1)+\frac{|D_2|}{|D|}Gini(D_2)$$
  基尼指数Gini(D)表示集合D的不确定性，Gini(D,A)表示经A=a分割后集合D的不确定性，与熵类似。选择基尼指数最小的特征作为分类特征

CART剪枝

首先从生成算法生成的决策树 $T_0$ 低端开始不断剪枝，直到 $T_0$ 的根节点，形成一个子树序列 { T 0 , T 1 , . . . , T n } \left\{T_0,T_1,...,T_n\right\} {T0​,T1​,...,Tn​}; 然后通过交叉验证法在独立的验证数据集上对子树序列进行测试，从中选择最优子树。

CART剪枝算法
输入：CART算法生成的决策树 $T_0$
输出：最优决策树 $T_{\alpha }$
(1) 设 $k=0,T=T_0$
(2) 设 $\alpha =+\infty$
(3) 自下而上地对各内部节点 $t$ 计算 $C(T_t)$, $|T_t|$ 以及 $$g(t)=\frac{C(t)-C(T_t)}{|T_t|-1}$$ $$\alpha =\min (\alpha ,g(t))$$这里，$T_t$ 表示以 $t$ 为根节点的子树，$C(T_t)$ 是对训练数据的预测误差， $|T_t|$是 $T_t$ 的叶节点数目
(4) 对 $g(t)=\alpha$ 的内部节点$t$ 进行剪枝，并对叶节点 $t$ 以多数表决法确定其类，得到树 $T$
(5) 设 $k=k+1,{\alpha }_k=\alpha ,T_k=T$
(6) 如果 $T_k$ 不是由根节点及两个叶节点构成的树，则回到步骤（3）；否则，令 $T_k=T_n$
(7) 采用交叉验证法在子树序列 $T_0,T_1,...,T_n$中选取最优子树$T_{\alpha }$

由于决策树的生成过程通过信息增益的方式得到相应的分类特征的划分，因此可以从信息增益进而演化为最大熵模型

最大熵模型

最大熵是该流程模型学习的一个准则，将其推广到分类问题就得到最大熵模型，最大熵模型是一种对数线性模型。最大熵原理认为学习概率模型时，在所有可能的概率模型（分布）中，熵最大的模型是最好的模型。通常用约束条件来确定概率模型的集合，所以，最大熵原理也可以表述为在满足约束条件的模型集合中选择熵最大的模型。
用特征函数$f(x,y)$描述输入 x 和输出 y 之间的某一个事实。其定义为：
$$f(x,y)=\{\begin{array}{ll}1,& \text{x 与 y 满足某一事实}\\ 0,& \text{否则}\end{array}$$

最大熵模型：
$$\begin{gathered} P_w(y|x)=\frac{1}{Z_w(x)}\exp \left(\sum _{i=1}^n{w}_i{f}_i(x,y)\right) \\ {Z}_w(x)=\sum _y\exp \left(\sum _{i=1}^n{w}_i{f}_i(x,y)\right) \end{gathered}$$
相当于求解约束最优化问题：
$$\begin{gathered} \min -H(P)=\sum _{x,y}\tilde{P}(x)P(y|x)\log P(y|x) \\ s.t.P(f_i)-\tilde{P}(f_i)=0,i=1,2,...,n \\ \sum _{y}P(y|x)=1 \end{gathered}$$
最大熵模型的学习算法包括改进的迭代尺度法，梯度下降法，牛顿法或拟牛顿法。

对于学习问题是对数似然函数为目标函数的最优化问题可以推出逻辑斯蒂回归模型

逻辑斯蒂回归模型

逻辑斯蒂回归是指满足逻辑斯蒂分布的连续随机变量的分类模型
$$\begin{gathered} F(x)=P(X⩽x)=\frac{1}{1+e^{-(x-\mu )/\gamma }} \\ f(x)=F^{\prime }(x)=\frac{e^{-(x-\mu )/\gamma }}{\gamma (1+e^{-(x-\mu )/\gamma }{)}^2} \end{gathered}$$
其中$\mu$为位置参数$\gamma >0$为形状参数，分布函数图形是一条S形曲线，该曲线以点$\left(\mu ,\frac{1}{2}\right)$为中心对称。
一个事件发生的几率为该事件发生的概率与该事件不发生的概率的比值。如果事件发生的概率为 p ，那么该事件的几率为$\frac{p}{1-p}$,其对数几率或者logit函数为：
$$logit(p)=\log \frac{p}{1-p}$$
对于逻辑斯蒂回归，
$$\log \frac{P(Y=1|x)}{1-P(Y=1|x)}=w\cdot x$$

提升方法与提升树

提升方法用于多分类和回归。从弱学习算法出发，反复学习，得到一系列弱分类器（又称为基本分类器），然后组合这些弱分类器，构成一个强分类器。大多数的提升方法都是改变训练数据的概率分布（训练数据的权值分布），针对不同的训练数据分布调用学习算法学习一系列弱分类器。

Adaboost算法

是一种二类分类算法
训练误差界：
$$\frac{1}{N}\sum _{i=1}^{N}I(G(x_i)̸=y_i)⩽\frac{1}{N}\sum _i\exp (-y_{i}f(x_i))=\prod _m{Z}_m=\prod _{m=1}^M[2\sqrt{e_m(1-e_m)}]=\prod _{m=1}^M\sqrt{(1-4{\gamma }_m^2)}⩽\exp \left(-2\sum _{m=1}^M{\gamma }_m^2\right)$$
此表明AdaBoost的训练误差是以指数速率下降的。
可以认为AdaBoost算法是模型为加法模型、损失函数为指数函数、学习算法为前向分步算法时的二类分类学习算法。

提升树模型

提升树是以分类树或回归树为基本分类器的提升方法。统计学习中性能最好的算法之一。
对分类问题决策树是二叉分类树，对回归问题决策树是二叉回归树。由一个根节点直接连接两个叶节点的简单决策树称为决策树桩。（$x<vorx>v$）
提升树模型可以看作是决策树的加法模型：
$$f_M(x)=\sum _{m=1}^{M}T(x;{\Theta }_m)$$
其中$T(x;{\Theta }_m)$表示决策树；${\Theta }_m$为决策树的参数；M 为树的个数。

模型	学习策略	算法
支持向量机	极小化正则化合页损失，软间隔最大化	序列最小最优化（SMO）
AdaBoost	极小化加法模型的指数损失	前向分步加法
逻辑斯蒂回归	极大对数似然函数，正则化的极大似然估计	（IIS， 梯度下降、牛顿法或拟牛顿法）

参考文献

[1] 李航. 统计学习方法[M],清华大学出版社.