深度学习第二章：机器学习基础（5）【笔记】

2.17 决策树

2.17.1 决策树的基本原理

​ 决策树（Decision Tree）是一种分而治之的决策过程。一个困难的预测问题，通过树的分支节点，被划分成两个或多个较为简单的子集，从结构上划分为不同的子问题。将依规则分割数据集的过程不断递归下去（Recursive Partitioning）。随着树的深度不断增加，分支节点的子集越来越小，所需要提的问题数也逐渐简化。当分支节点的深度或者问题的简单程度满足一定的停止规则（Stopping Rule）时, 该分支节点会停止分裂，此为自上而下的停止阈值（Cutoff Threshold）法；有些决策树也使用自下而上的剪枝（Pruning）法。

2.17.2 决策树的三要素？

​ 一棵决策树的生成过程主要分为下3个部分：

​ 1、特征选择：从训练数据中众多的特征中选择一个特征作为当前节点的分裂标准，如何选择特征有着很多不同量化评估标准，从而衍生出不同的决策树算法。

​ 2、决策树生成：根据选择的特征评估标准，从上至下递归地生成子节点，直到数据集不可分则决策树停止生长。树结构来说，递归结构是最容易理解的方式。

​ 3、剪枝：决策树容易过拟合，一般来需要剪枝，缩小树结构规模、缓解过拟合。剪枝技术有预剪枝和后剪枝两种。

2.17.3 决策树学习基本算法

2.17.4 决策树算法优缺点

决策树算法的优点：

1、决策树算法易理解，机理解释起来简单。

2、决策树算法可以用于小数据集。

3、决策树算法的时间复杂度较小，为用于训练决策树的数据点的对数。

4、相比于其他算法智能分析一种类型变量，决策树算法可处理数字和数据的类别。

5、能够处理多输出的问题。

6、对缺失值不敏感。

7、可以处理不相关特征数据。

8、效率高，决策树只需要一次构建，反复使用，每一次预测的最大计算次数不超过决策树的深度。

决策树算法的缺点：

1、对连续性的字段比较难预测。

2、容易出现过拟合。

3、当类别太多时，错误可能就会增加的比较快。

4、在处理特征关联性比较强的数据时表现得不是太好。

5、对于各类别样本数量不一致的数据，在决策树当中，信息增益的结果偏向于那些具有更多数值的特征。

2.17.5 熵的概念以及理解

​ 熵：度量随机变量的不确定性。
​ 定义：假设随机变量X的可能取值有$x_1,x_2,...,x_n$，对于每一个可能的取值$x_i$，其概率为$P(X=x_i)=p_i,i=1,\mathrm{2...},n$。随机变量的熵为：
$$H(X)=-\sum _{i=1}^n{p}_{i}lo{g}_2{p}_i$$
​ 对于样本集合，假设样本有k个类别，每个类别的概率为$\frac{|C_k|}{|D|}$，其中 $|C_k||D|$为类别为k的样本个数，$|D|$为样本总数。样本集合D的熵为：
$$H(D)=-\sum _{k=1}^k\frac{|C_k|}{|D|}lo{g}_2\frac{|C_k|}{|D|}$$

2.17.6 信息增益的理解

​ 定义：以某特征划分数据集前后的熵的差值。
​ 熵可以表示样本集合的不确定性，熵越大，样本的不确定性就越大。因此可以使用划分前后集合熵的差值来衡量使用当前特征对于样本集合D划分效果的好坏。 ​ 假设划分前样本集合D的熵为H(D)。使用某个特征A划分数据集D，计算划分后的数据子集的熵为H(D|A)。
​ 则信息增益为：
$$g(D,A)=H(D)-H(D|A)$$
​ *注：*在决策树构建的过程中我们总是希望集合往最快到达纯度更高的子集合方向发展，因此我们总是选择使得信息增益最大的特征来划分当前数据集D。
​ 思想：计算所有特征划分数据集D，得到多个特征划分数据集D的信息增益，从这些信息增益中选择最大的，因而当前结点的划分特征便是使信息增益最大的划分所使用的特征。
​ 另外这里提一下信息增益比相关知识：
​ $信息增益比=惩罚参数\times 信息增益$
​ 信息增益比本质：在信息增益的基础之上乘上一个惩罚参数。特征个数较多时，惩罚参数较小；特征个数较少时，惩罚参数较大。
​ 惩罚参数：数据集D以特征A作为随机变量的熵的倒数。

2.17.7 剪枝处理的作用及策略

​ 剪枝处理是决策树学习算法用来解决过拟合问题的一种办法。

​ 在决策树算法中，为了尽可能正确分类训练样本， 节点划分过程不断重复， 有时候会造成决策树分支过多，以至于将训练样本集自身特点当作泛化特点， 而导致过拟合。 因此可以采用剪枝处理来去掉一些分支来降低过拟合的风险。

​ 剪枝的基本策略有预剪枝（pre-pruning）和后剪枝（post-pruning）。

​ 预剪枝：在决策树生成过程中，在每个节点划分前先估计其划分后的泛化性能， 如果不能提升，则停止划分，将当前节点标记为叶结点。

​ 后剪枝：生成决策树以后，再自下而上对非叶结点进行考察， 若将此节点标记为叶结点可以带来泛化性能提升，则修改之。

2.18 支持向量机

2.18.1 什么是支持向量机

​ 支持向量：在求解的过程中，会发现只根据部分数据就可以确定分类器，这些数据称为支持向量。

​ 支持向量机（Support Vector Machine，SVM）：其含义是通过支持向量运算的分类器。

​ 在一个二维环境中，其中点R，S，G点和其它靠近中间黑线的点可以看作为支持向量，它们可以决定分类器，即黑线的具体参数。

​ 支持向量机是一种二分类模型，它的目的是寻找一个超平面来对样本进行分割，分割的原则是边界最大化，最终转化为一个凸二次规划问题来求解。由简至繁的模型包括：

​ 当训练样本线性可分时，通过硬边界（hard margin）最大化，学习一个线性可分支持向量机；

​ 当训练样本近似线性可分时，通过软边界（soft margin）最大化，学习一个线性支持向量机；

​ 当训练样本线性不可分时，通过核技巧和软边界最大化，学习一个非线性支持向量机；

2.18.2 支持向量机能解决哪些问题

线性分类

​ 在训练数据中，每个数据都有n个的属性和一个二分类类别标志，我们可以认为这些数据在一个n维空间里。我们的目标是找到一个n-1维的超平面，这个超平面可以将数据分成两部分，每部分数据都属于同一个类别。

​ 这样的超平面有很多，假如我们要找到一个最佳的超平面。此时，增加一个约束条件：要求这个超平面到每边最近数据点的距离是最大的，成为最大边距超平面。这个分类器即为最大边距分类器。

非线性分类

​ SVM的一个优势是支持非线性分类。它结合使用拉格朗日乘子法（Lagrange Multiplier）和KKT（Karush Kuhn Tucker）条件，以及核函数可以生成非线性分类器。

2.18.3 核函数特点及其作用

​ 引入核函数目的：把原坐标系里线性不可分的数据用核函数Kernel投影到另一个空间，尽量使得数据在新的空间里线性可分。
​ 核函数方法的广泛应用，与其特点是分不开的：

1）核函数的引入避免了“维数灾难”，大大减小了计算量。而输入空间的维数n对核函数矩阵无影响。因此，核函数方法可以有效处理高维输入。

2）无需知道非线性变换函数Φ的形式和参数。

3）核函数的形式和参数的变化会隐式地改变从输入空间到特征空间的映射，进而对特征空间的性质产生影响，最终改变各种核函数方法的性能。

4）核函数方法可以和不同的算法相结合，形成多种不同的基于核函数技术的方法，且这两部分的设计可以单独进行，并可以为不同的应用选择不同的核函数和算法。

2.18.4 SVM为什么引入对偶问题

1，对偶问题将原始问题中的约束转为了对偶问题中的等式约束，对偶问题往往更加容易求解。

2，可以很自然的引用核函数（拉格朗日表达式里面有内积，而核函数也是通过内积进行映射的）。

3，在优化理论中，目标函数 f(x) 会有多种形式：如果目标函数和约束条件都为变量 x 的线性函数，称该问题为线性规划；如果目标函数为二次函数，约束条件为线性函数，称该最优化问题为二次规划；如果目标函数或者约束条件均为非线性函数，称该最优化问题为非线性规划。每个线性规划问题都有一个与之对应的对偶问题，对偶问题有非常良好的性质，以下列举几个：

​ a, 对偶问题的对偶是原问题；

​ b, 无论原始问题是否是凸的，对偶问题都是凸优化问题；

​ c, 对偶问题可以给出原始问题一个下界；

​ d, 当满足一定条件时，原始问题与对偶问题的解是完全等价的。

2.18.5 如何理解SVM中的对偶问题

在硬边界支持向量机中，问题的求解可以转化为凸二次规划问题。

​ 假设优化目标为
$$\begin{array}{rl}& \underset{\mathbf{w},b}{\min }\frac{1}{2}||\mathbf{w}|{|}^2\\ & s.t.y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)⩾1,i=1,2,\cdots ,m.\end{array}\text{\hspace{1em}(1)}$$
step 1. 转化问题：
$$\underset{\mathbf{w},b}{\min }\underset{{\alpha }_i⩾0}{\max }\left\{\frac{1}{2}||\mathbf{w}|{|}^2+\sum _{i=1}^m{\alpha }_i(1-y_i({\mathbf{w}}^T{\mathbf{x}}_i+b))\right\}\text{\hspace{1em}(2)}$$
上式等价于原问题，因为若满足(1)中不等式约束，则(2)式求max时,${\alpha }_i(1-y_i({\mathbf{w}}^T{\mathbf{x}}_i+b))$必须取0，与(1)等价；若不满足(1)中不等式约束，(2)中求max会得到无穷大。 交换min和max获得其对偶问题:
$$\underset{{\alpha }_i⩾0}{\max }\underset{\mathbf{w},b}{\min }\left\{\frac{1}{2}||\mathbf{w}|{|}^2+\sum _{i=1}^m{\alpha }_i(1-y_i({\mathbf{w}}^T{\mathbf{x}}_i+b))\right\}$$
交换之后的对偶问题和原问题并不相等，上式的解小于等于原问题的解。

step 2.现在的问题是如何找到问题(1) 的最优值的一个最好的下界?
$$\begin{gathered} \frac{1}{2}||\mathbf{w}|{|}^2<v \\ 1-y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)⩽0\text{\hspace{1em}(3)} \end{gathered}$$
若方程组(3)无解， 则v是问题(1)的一个下界。若(3)有解， 则
$$\forall \mathbf{\alpha }>0,\underset{\mathbf{w},b}{\min }\left\{\frac{1}{2}||\mathbf{w}|{|}^2+\sum _{i=1}^m{\alpha }_i(1-y_i({\mathbf{w}}^T{\mathbf{x}}_i+b))\right\}<v$$
由逆否命题得：若
$$\exists \mathbf{\alpha }>0,\underset{\mathbf{w},b}{\min }\left\{\frac{1}{2}||\mathbf{w}|{|}^2+\sum _{i=1}^m{\alpha }_i(1-y_i({\mathbf{w}}^T{\mathbf{x}}_i+b))\right\}⩾v$$
则(3)无解。

那么v是问题

(1)的一个下界。
要求得一个好的下界，取最大值即可
$$\underset{{\alpha }_i⩾0}{\max }\underset{\mathbf{w},b}{\min }\left\{\frac{1}{2}||\mathbf{w}|{|}^2+\sum _{i=1}^m{\alpha }_i(1-y_i({\mathbf{w}}^T{\mathbf{x}}_i+b))\right\}$$
step 3. 令
$$L(\mathbf{w},b,\mathbf{a})=\frac{1}{2}||\mathbf{w}|{|}^2+\sum _{i=1}^m{\alpha }_i(1-y_i({\mathbf{w}}^T{\mathbf{x}}_i+b))$$
$p^{\ast }$为原问题的最小值，对应的$w,b$分别为$w^{\ast },b^{\ast }$,则对于任意的$a>0$:
$$p^{\ast }=\frac{1}{2}||{\mathbf{w}}^{\ast }|{|}^2⩾L({\mathbf{w}}^{\ast },b,\mathbf{a})⩾\underset{\mathbf{w},b}{\min }L(\mathbf{w},b,\mathbf{a})$$
则 ${\min }_{\mathbf{w},b}L(\mathbf{w},b,\mathbf{a})$是问题（1）的一个下界。

此时，取最大值即可求得好的下界，即
$$\underset{{\alpha }_i⩾0}{\max }\underset{\mathbf{w},b}{\min }L(\mathbf{w},b,\mathbf{a})$$

2.18.7 常见的核函数有哪些

核函数	表达式	备注
Linear Kernel线性核	$k(x,y)=x^{t}y+c$
Polynomial Kernel多项式核	$k(x,y)=(a{x}^{t}y+c{)}^d$	$d⩾1$为多项式的次数
Exponential Kernel指数核	$k(x,y)=exp(-\frac{|x-y|}{2{\sigma }^2})$	$\sigma >0$
Gaussian Kernel高斯核	$k(x,y)=exp(-\frac{{|x-y|}^2}{2{\sigma }^2})$	$\sigma$为高斯核的带宽，$\sigma >0$,
Laplacian Kernel拉普拉斯核	$k(x,y)=exp(-\frac{|x-y|}{\sigma })$	$\sigma >0$
ANOVA Kernel	$k(x,y)=exp(-\sigma (x^k-y^k{)}^2{)}^d$
Sigmoid Kernel	$k(x,y)=tanh(a{x}^{t}y+c)$	$tanh$为双曲正切函数，$a>0,c<0$

2.18.9 SVM主要特点

特点：

(1) SVM方法的理论基础是非线性映射，SVM利用内积核函数代替向高维空间的非线性映射。
(2) SVM的目标是对特征空间划分得到最优超平面，SVM方法核心是最大化分类边界。
(3) 支持向量是SVM的训练结果，在SVM分类决策中起决定作用的是支持向量。
(4) SVM是一种有坚实理论基础的新颖的适用小样本学习方法。它基本上不涉及概率测度及大数定律等，也简化了通常的分类和回归等问题。
(5) SVM的最终决策函数只由少数的支持向量所确定，计算的复杂性取决于支持向量的数目，而不是样本空间的维数，这在某种意义上避免了“维数灾难”。
(6) 少数支持向量决定了最终结果，这不但可以帮助我们抓住关键样本、“剔除”大量冗余样本,而且注定了该方法不但算法简单，而且具有较好的“鲁棒性”。这种鲁棒性主要体现在：
​ ①增、删非支持向量样本对模型没有影响;
​ ②支持向量样本集具有一定的鲁棒性;
​ ③有些成功的应用中，SVM方法对核的选取不敏感
(7) SVM学习问题可以表示为凸优化问题，因此可以利用已知的有效算法发现目标函数的全局最小值。而其他分类方法（如基于规则的分类器和人工神经网络）都采用一种基于贪心学习的策略来搜索假设空间，这种方法一般只能获得局部最优解。
(8) SVM通过最大化决策边界的边缘来控制模型的能力。尽管如此，用户必须提供其他参数，如使用核函数类型和引入松弛变量等。
(9) SVM在小样本训练集上能够得到比其它算法好很多的结果。SVM优化目标是结构化风险最小，而不是经验风险最小，避免了过拟合问题，通过margin的概念，得到对数据分布的结构化描述，减低了对数据规模和数据分布的要求，有优秀的泛化能力。
(10) 它是一个凸优化问题，因此局部最优解一定是全局最优解的优点。

2.18.10 SVM主要缺点

(1) SVM算法对大规模训练样本难以实施
​ SVM的空间消耗主要是存储训练样本和核矩阵，由于SVM是借助二次规划来求解支持向量，而求解二次规划将涉及m阶矩阵的计算（m为样本的个数），当m数目很大时该矩阵的存储和计算将耗费大量的机器内存和运算时间。
​ 如果数据量很大，SVM的训练时间就会比较长，如垃圾邮件的分类检测，没有使用SVM分类器，而是使用简单的朴素贝叶斯分类器，或者是使用逻辑回归模型分类。

(2) 用SVM解决多分类问题存在困难

​ 经典的支持向量机算法只给出了二类分类的算法，而在实际应用中，一般要解决多类的分类问题。可以通过多个二类支持向量机的组合来解决。主要有一对多组合模式、一对一组合模式和SVM决策树；再就是通过构造多个分类器的组合来解决。主要原理是克服SVM固有的缺点，结合其他算法的优势，解决多类问题的分类精度。如：与粗糙集理论结合，形成一种优势互补的多类问题的组合分类器。

(3) 对缺失数据敏感，对参数和核函数的选择敏感

​ 支持向量机性能的优劣主要取决于核函数的选取，所以对于一个实际问题而言，如何根据实际的数据模型选择合适的核函数从而构造SVM算法。目前比较成熟的核函数及其参数的选择都是人为的，根据经验来选取的，带有一定的随意性。在不同的问题领域，核函数应当具有不同的形式和参数，所以在选取时候应该将领域知识引入进来，但是目前还没有好的方法来解决核函数的选取问题。

2.18.11 逻辑回归与SVM的异同

相同点：

• LR和SVM都是分类算法。
• LR和SVM都是监督学习算法。
• LR和SVM都是判别模型。
• 如果不考虑核函数，LR和SVM都是线性分类算法，也就是说他们的分类决策面都是线性的。
  说明：LR也是可以用核函数的.但LR通常不采用核函数的方法。（计算量太大）

不同点：

1、LR采用log损失，SVM采用合页(hinge)损失。
逻辑回归的损失函数：
$$J(\theta )=-\frac{1}{m}\sum _{i=1}^m\left[y^{i}log{h}_{\theta }(x^i)+(1-y^i)log(1-h_{\theta }(x^i))\right]$$
支持向量机的目标函数:
$$L(w,n,a)=\frac{1}{2}||w|{|}^2-\sum _{i=1}^n{\alpha }_i\left(y_i(w^T{x}_i+b)-1\right)$$
​ 逻辑回归方法基于概率理论，假设样本为1的概率可以用sigmoid函数来表示，然后通过极大似然估计的方法估计出参数的值。
​ 支持向量机基于几何边界最大化原理，认为存在最大几何边界的分类面为最优分类面。

2、LR对异常值敏感，SVM对异常值不敏感。

​ 支持向量机只考虑局部的边界线附近的点，而逻辑回归考虑全局。LR模型找到的那个超平面，是尽量让所有点都远离他，而SVM寻找的那个超平面，是只让最靠近中间分割线的那些点尽量远离，即只用到那些支持向量的样本。
​ 支持向量机改变非支持向量样本并不会引起决策面的变化。
​ 逻辑回归中改变任何样本都会引起决策面的变化。

3、计算复杂度不同。对于海量数据，SVM的效率较低，LR效率比较高

​ 当样本较少，特征维数较低时，SVM和LR的运行时间均比较短，SVM较短一些。准确率的话，LR明显比SVM要高。当样本稍微增加些时，SVM运行时间开始增长，但是准确率赶超了LR。SVM时间虽长，但在可接受范围内。当数据量增长到20000时，特征维数增长到200时，SVM的运行时间剧烈增加，远远超过了LR的运行时间。但是准确率却和LR相差无几。(这其中主要原因是大量非支持向量参与计算，造成SVM的二次规划问题)

4、对非线性问题的处理方式不同

​ LR主要靠特征构造，必须组合交叉特征，特征离散化。SVM也可以这样，还可以通过核函数kernel（因为只有支持向量参与核计算，计算复杂度不高）。由于可以利用核函数，SVM则可以通过对偶求解高效处理。LR则在特征空间维度很高时，表现较差。

5、SVM的损失函数就自带正则。
​ 损失函数中的1/2||w||^2项，这就是为什么SVM是结构风险最小化算法的原因！！！而LR必须另外在损失函数上添加正则项！！！**

6、SVM自带结构风险最小化，LR则是经验风险最小化。

7、SVM会用核函数而LR一般不用核函数。

2.19 贝叶斯分类器

2.19.1 图解极大似然估计

极大似然估计的原理，用一张图片来说明，如下图所示：

​ 例：有两个外形完全相同的箱子，1号箱有99只白球，1只黑球；2号箱有1只白球，99只黑球。在一次实验中，取出的是黑球，请问是从哪个箱子中取出的？

​ 一般的根据经验想法，会猜测这只黑球最像是从2号箱取出，此时描述的“最像”就有“最大似然”的意思，这种想法常称为“最大似然原理”。

2.19.2 极大似然估计原理

​ 总结起来，最大似然估计的目的就是：利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值。

​ 极大似然估计是建立在极大似然原理的基础上的一个统计方法。极大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。通过若干次试验，观察其结果，利用试验结果得到某个参数值能够使样本出现的概率为最大，则称为极大似然估计。

​ 由于样本集中的样本都是独立同分布，可以只考虑一类样本集$D$，来估计参数向量$\vec{\theta }$。记已知的样本集为：
$$D={\vec{x}}_1,{\vec{x}}_2,...,{\vec{x}}_n$$
似然函数（likelihood function）：联合概率密度函数$p(D|\vec{\theta })$称为相对于${\vec{x}}_1,{\vec{x}}_2,...,{\vec{x}}_n$的$\vec{\theta }$的似然函数。
$$l(\vec{\theta })=p(D|\vec{\theta })=p({\vec{x}}_1,{\vec{x}}_2,...,{\vec{x}}_n|\vec{\theta })=\prod _{i=1}^{n}p({\vec{x}}_i|\vec{\theta })$$
如果$\hat{\vec{\theta }}$是参数空间中能使似然函数$l(\vec{\theta })$最大的$\vec{\theta }$值，则$\hat{\vec{\theta }}$应该是“最可能”的参数值，那么$\hat{\vec{\theta }}$就是$\theta$的极大似然估计量。它是样本集的函数，记作：
$$\hat{\vec{\theta }}=d(D)={\mathrm{argmax}}_{\vec{\theta }}l(\vec{\theta })$$
$\hat{\vec{\theta }}({\vec{x}}_1,{\vec{x}}_2,...,{\vec{x}}_n)$称为极大似然函数估计值。

2.19.3 贝叶斯分类器基本原理

​ 贝叶斯决策论通过相关概率已知的情况下利用误判损失来选择最优的类别分类。
假设有$N$种可能的分类标记，记为 Y = { c 1 , c 2 , . . . , c N } Y=\{c_1,c_2,...,c_N\} Y={c1​,c2​,...,cN​}，那对于样本$\mathbf{x}$，它属于哪一类呢？

计算步骤如下：

step 1. 算出样本$\mathbf{x}$属于第i个类的概率，即$P(c_i|x)$；

step 2. 通过比较所有的$P(c_i|\mathbf{x})$，得到样本$\mathbf{x}$所属的最佳类别。

step 3. 将类别$c_i$和样本$\mathbf{x}$代入到贝叶斯公式中，得到：
$$P(c_i|\mathbf{x})=\frac{P(\mathbf{x}|c_i)P(c_i)}{P(\mathbf{x})}.$$
​ 一般来说，$P(c_i)$为先验概率，$P(\mathbf{x}|c_i)$为条件概率，$P(\mathbf{x})$是用于归一化的证据因子。对于$P(c_i)$可以通过训练样本中类别为$c_i$的样本所占的比例进行估计；此外，由于只需要找出最大的$P(\mathbf{x}|c_i)$，因此我们并不需要计算$P(\mathbf{x})$。
​ 为了求解条件概率，基于不同假设提出了不同的方法，以下将介绍朴素贝叶斯分类器和半朴素贝叶斯分类器。

2.19.4 朴素贝叶斯分类器

​ 假设样本$\mathbf{x}$包含$d$个属性，即 x = { x 1 , x 2 , . . . , x d } \boldsymbol{x}=\{ x_1,x_2,...,x_d\} x={x1​,x2​,...,xd​}。于是有：
$$P(\mathbf{x}|c_i)=P(x_1,x_2,\cdots ,x_d|c_i)$$
这个联合概率难以从有限的训练样本中直接估计得到。于是，朴素贝叶斯（Naive Bayesian，简称NB）采用了“属性条件独立性假设”：对已知类别，假设所有属性相互独立。于是有：
$$P(x_1,x_2,\cdots ,x_d|c_i)=\prod _{j=1}^{d}P(x_j|c_i)$$
这样的话，我们就可以很容易地推出相应的判定准则了：
$$h_{nb}(\mathbf{x})={\mathrm{argmax}}_{c_i\in Y}P(c_i)\prod _{j=1}^{d}P(x_j|c_i)$$
条件概率$P(x_j|c_i)$的求解

如果$x_j$是标签属性，那么我们可以通过计数的方法估计$P(x_j|c_i)$
$$P(x_j|c_i)=\frac{P(x_j,c_i)}{P(c_i)}\approx \frac{\#(x_j,c_i)}{\#(c_i)}$$
其中，$\#(x_j,c_i)$表示在训练样本中$x_j$与$c_i$共同出现的次数。

如果$x_j$是数值属性，通常我们假设类别中$c_i$的所有样本第$j$个属性的值服从正态分布。我们首先估计这个分布的均值$\mu$和方差$\sigma$，然后计算$x_j$在这个分布中的概率密度$P(x_j|c_i)$。

2.19.5 举例理解朴素贝叶斯分类器

使用经典的西瓜训练集如下：

编号	色泽	根蒂	敲声	纹理	脐部	触感	密度	含糖率	好瓜
1	青绿	蜷缩	浊响	清晰	凹陷	硬滑	0.697	0.460	是
2	乌黑	蜷缩	沉闷	清晰	凹陷	硬滑	0.774	0.376	是
3	乌黑	蜷缩	浊响	清晰	凹陷	硬滑	0.634	0.264	是
4	青绿	蜷缩	沉闷	清晰	凹陷	硬滑	0.608	0.318	是
5	浅白	蜷缩	浊响	清晰	凹陷	硬滑	0.556	0.215	是
6	青绿	稍蜷	浊响	清晰	稍凹	软粘	0.403	0.237	是
7	乌黑	稍蜷	浊响	稍糊	稍凹	软粘	0.481	0.149	是
8	乌黑	稍蜷	浊响	清晰	稍凹	硬滑	0.437	0.211	是
9	乌黑	稍蜷	沉闷	稍糊	稍凹	硬滑	0.666	0.091	否
10	青绿	硬挺	清脆	清晰	平坦	软粘	0.243	0.267	否
11	浅白	硬挺	清脆	模糊	平坦	硬滑	0.245	0.057	否
12	浅白	蜷缩	浊响	模糊	平坦	软粘	0.343	0.099	否
13	青绿	稍蜷	浊响	稍糊	凹陷	硬滑	0.639	0.161	否
14	浅白	稍蜷	沉闷	稍糊	凹陷	硬滑	0.657	0.198	否
15	乌黑	稍蜷	浊响	清晰	稍凹	软粘	0.360	0.370	否
16	浅白	蜷缩	浊响	模糊	平坦	硬滑	0.593	0.042	否
17	青绿	蜷缩	沉闷	稍糊	稍凹	硬滑	0.719	0.103	否

对下面的测试例“测1”进行 分类：

编号	色泽	根蒂	敲声	纹理	脐部	触感	密度	含糖率	好瓜
测1	青绿	蜷缩	浊响	清晰	凹陷	硬滑	0.697	0.460	？

首先，估计类先验概率$P(c_j)$，有
$$\begin{array}{rl}& P(好瓜=是)=\frac{8}{17}=0.471\\ & P(好瓜=否)=\frac{9}{17}=0.529\end{array}$$
然后，为每个属性估计条件概率（这里，对于连续属性，假定它们服从正态分布）
$$P_{青绿|是}=P（色泽=青绿|好瓜=是）=\frac{3}{8}=0.375$$

$$P_{青绿|否}=P（色泽=青绿|好瓜=否）=\frac{3}{9}\approx 0.333$$

$$P_{蜷缩|是}=P（根蒂=蜷缩|好瓜=是）=\frac{5}{8}=0.625$$

$$P_{蜷缩|否}=P（根蒂=蜷缩|好瓜=否）=\frac{3}{9}=0.333$$

$$P_{浊响|是}=P（敲声=浊响|好瓜=是）=\frac{6}{8}=0.750$$

$$P_{浊响|否}=P（敲声=浊响|好瓜=否）=\frac{4}{9}\approx 0.444$$

$$P_{清晰|是}=P（纹理=清晰|好瓜=是）=\frac{7}{8}=0.875$$

$$P_{清晰|否}=P（纹理=清晰|好瓜=否）=\frac{2}{9}\approx 0.222$$

$$P_{凹陷|是}=P（脐部=凹陷|好瓜=是）=\frac{6}{8}=0.750$$

$$P_{凹陷|否}=P（脐部=凹陷|好瓜=否）=\frac{2}{9}\approx 0.222$$

$$P_{硬滑|是}=P（触感=硬滑|好瓜=是）=\frac{6}{8}=0.750$$

$$P_{硬滑|否}=P（触感=硬滑|好瓜=否）=\frac{6}{9}\approx 0.667$$

$$\begin{array}{rl}{\rho }_{密度：0.697|是}& =\rho （密度=0.697|好瓜=是）\\ & =\frac{1}{\sqrt{2\pi }\times 0.129}exp\left(-\frac{(0.697-0.574{)}^2}{2\times 0.129^2}\right)\approx 1.959\end{array}$$

$$\begin{array}{rl}{\rho }_{密度：0.697|否}& =\rho （密度=0.697|好瓜=否）\\ & =\frac{1}{\sqrt{2\pi }\times 0.195}exp\left(-\frac{(0.697-0.496{)}^2}{2\times 0.195^2}\right)\approx 1.203\end{array}$$

$$\begin{array}{rl}{\rho }_{含糖：0.460|是}& =\rho （密度=0.460|好瓜=是）\\ & =\frac{1}{\sqrt{2\pi }\times 0.101}exp\left(-\frac{(0.460-0.279{)}^2}{2\times 0.101^2}\right)\approx 0.788\end{array}$$

$$\begin{array}{rl}{\rho }_{含糖：0.460|否}& =\rho （密度=0.460|好瓜=是）\\ & =\frac{1}{\sqrt{2\pi }\times 0.108}exp\left(-\frac{(0.460-0.154{)}^2}{2\times 0.108^2}\right)\approx 0.066\end{array}$$

于是有
$$\begin{array}{rl}P(& 好瓜=是)\times P_{青绿|是}\times P_{蜷缩|是}\times P_{浊响|是}\times P_{清晰|是}\times P_{凹陷|是}\\ & \times P_{硬滑|是}\times p_{密度：0.697|是}\times p_{含糖：0.460|是}\approx 0.063\\ & \\ P(& 好瓜=否)\times P_{青绿|否}\times P_{蜷缩|否}\times P_{浊响|否}\times P_{清晰|否}\times P_{凹陷|否}\\ & \times P_{硬滑|否}\times p_{密度：0.697|否}\times p_{含糖：0.460|否}\approx 6.80\times 10^{-5}\end{array}$$

由于$0.063>6.80\times 10^{-5}$，因此，朴素贝叶斯分类器将测试样本“测1”判别为“好瓜”。

2.19.6 半朴素贝叶斯分类器

​ 朴素贝叶斯采用了“属性条件独立性假设”，半朴素贝叶斯分类器的基本想法是适当考虑一部分属性间的相互依赖信息。独依赖估计（One-Dependence Estimator，简称ODE）是半朴素贝叶斯分类器最常用的一种策略。顾名思义，独依赖是假设每个属性在类别之外最多依赖一个其他属性，即：
$$P(\mathbf{x}|c_i)=\prod _{j=1}^{d}P(x_j|c_i,{\mathrm{pa}}_j)$$
其中$p{a}_j$为属性$x_i$所依赖的属性，成为$x_i$的父属性。假设父属性$p{a}_j$已知，那么可以使用下面的公式估计$P(x_j|c_i,{\mathrm{pa}}_j)$
$$P(x_j|c_i,{\mathrm{pa}}_j)=\frac{P(x_j,c_i,{\mathrm{pa}}_j)}{P(c_i,{\mathrm{pa}}_j)}$$

2.20 EM算法

2.20.1 EM算法基本思想

​ 最大期望算法（Expectation-Maximization algorithm, EM），是一类通过迭代进行极大似然估计的优化算法，通常作为牛顿迭代法的替代，用于对包含隐变量或缺失数据的概率模型进行参数估计。

​ 最大期望算法基本思想是经过两个步骤交替进行计算：

​ 第一步是计算期望（E），利用对隐藏变量的现有估计值，计算其最大似然估计值**；**

​ 第二步是最大化（M），最大化在E步上求得的最大似然值来计算参数的值。

​ M步上找到的参数估计值被用于下一个E步计算中，这个过程不断交替进行。

2.20.2 EM算法推导

​ 对于$m$个样本观察数据$x=(x^1,x^2,...,x^m)$，现在想找出样本的模型参数$\theta$，其极大化模型分布的对数似然函数为：
$$\theta ={\mathrm{argmax}}_{\theta }\sum _{i=1}^{m}logP(x^{(i)};\theta )$$
如果得到的观察数据有未观察到的隐含数据$z=(z^{(1)},z^{(2)},...z^{(m)})$，极大化模型分布的对数似然函数则为：
$$\theta ={\mathrm{argmax}}_{\theta }\sum _{i=1}^{m}logP(x^{(i)};\theta )={\mathrm{argmax}}_{\theta }\sum _{i=1}^{m}log\sum _{z^{(i)}}P(x^{(i)},z^{(i)};\theta )\text{\hspace{1em}(a)}$$
由于上式不能直接求出$\theta$，采用缩放技巧：
$$\begin{array}{rl}\sum _{i=1}^{m}log\sum _{z^{(i)}}P(x^{(i)},z^{(i)};\theta )& =\sum _{i=1}^{m}log\sum _{z^{(i)}}{Q}_i(z^{(i)})\frac{P(x^{(i)},z^{(i)};\theta )}{Q_i(z^{(i)})}\\ & ⩾\sum _{i=1}^m\sum _{z^{(i)}}{Q}_i(z^{(i)})log\frac{P(x^{(i)},z^{(i)};\theta )}{Q_i(z^{(i)})}\end{array}\text{\hspace{1em}(1)}$$
上式用到了Jensen不等式：
$$log\sum _j{\lambda }_j{y}_j⩾\sum _j{\lambda }_{j}log{y}_j,{\lambda }_j⩾0,\sum _j{\lambda }_j=1$$
并且引入了一个未知的新分布$Q_i(z^{(i)})$。

此时，如果需要满足Jensen不等式中的等号，所以有：
$$\frac{P(x^{(i)},z^{(i)};\theta )}{Q_i(z^{(i)})}=c,c为常数$$
由于$Q_i(z^{(i)})$是一个分布，所以满足
$$\sum _z{Q}_i(z^{(i)})=1$$
综上，可得：
$$Q_i(z^{(i)})=\frac{P(x^{(i)}，z^{(i)};\theta )}{\sum _{z}P(x^{(i)},z^{(i)};\theta )}=\frac{P(x^{(i)},z^{(i)};\theta )}{P(x^{(i)};\theta )}=P(z^{(i)}|x^{(i)};\theta )$$
如果$Q_i(z^{(i)})=P(z^{(i)}|x^{(i)};\theta )$ ，则第(1)式是我们的包含隐藏数据的对数似然的一个下界。如果我们能极大化这个下界，则也在尝试极大化我们的对数似然。即我们需要最大化下式：
$${\mathrm{argmax}}_{\theta }\sum _{i=1}^m\sum _{z^{(i)}}{Q}_i(z^{(i)})log\frac{P(x^{(i)}，z^{(i)};\theta )}{Q_i(z^{(i)})}$$
简化得：
$${\mathrm{argmax}}_{\theta }\sum _{i=1}^m\sum _{z^{(i)}}{Q}_i(z^{(i)})logP(x^{(i)},z^{(i)};\theta )$$
以上即为EM算法的M步，$\sum _{z^{(i)}}{Q}_i(z^{(i)})logP(x^{(i)},z^{(i)};\theta )$可理解为$logP(x^{(i)},z^{(i)};\theta )$基于条件概率分布$Q_i(z^{(i)})$的期望。以上即为EM算法中E步和M步的具体数学含义。

2.20.3 图解EM算法

​ 考虑上一节中的（a）式，表达式中存在隐变量，直接找到参数估计比较困难，通过EM算法迭代求解下界的最大值到收敛为止。

​ 图片中的紫色部分是我们的目标模型$p(x|\theta )$，该模型复杂，难以求解析解，为了消除隐变量$z^{(i)}$的影响，我们可以选择一个不包含$z^{(i)}$的模型$r(x|\theta )$，使其满足条件$r(x|\theta )⩽p(x|\theta )$。

求解步骤如下：

（1）选取${\theta }_1$，使得$r(x|{\theta }_1)=p(x|{\theta }_1)$，然后对此时的$r$求取最大值，得到极值点${\theta }_2$，实现参数的更新。

（2）重复以上过程到收敛为止，在更新过程中始终满足$r \leqslant p $.

2.20.4 EM算法流程

输入：观察数据$x=(x^{(1)},x^{(2)},...x^{(m)})$，联合分布$p(x,z;\theta )$，条件分布$p(z|x;\theta )$，最大迭代次数$J$

1）随机初始化模型参数$\theta$的初值${\theta }^0$。

2）$forjfrom1toj$：

​ a） E步。计算联合分布的条件概率期望：
$$Q_i(z^{(i)})=P(z^{(i)}|x^{(i)},{\theta }^j)$$

$$L(\theta ,{\theta }^j)=\sum _{i=1}^m\sum _{z^{(i)}}P(z^{(i)}|x^{(i)},{\theta }^j)logP(x^{(i)},z^{(i)};\theta )$$

​ b） M步。极大化$L(\theta ,{\theta }^j)$，得到${\theta }^{j+1}$:
$${\theta }^{j+1}={\mathrm{argmax}}_{\theta }L(\theta ,{\theta }^j)$$
​ c） 如果${\theta }^{j+1}$收敛，则算法结束。否则继续回到步骤a）进行E步迭代。

输出：模型参数$\theta$。

2.21 降维和聚类

2.21.1 图解为什么会产生维数灾难

​ 假如数据集包含10张照片，照片中包含三角形和圆两种形状。现在来设计一个分类器进行训练，让这个分类器对其他的照片进行正确分类（假设三角形和圆的总数是无限大），简单的，我们用一个特征进行分类：

​ 图2.21.1.a

​ 从上图可看到，如果仅仅只有一个特征进行分类，三角形和圆几乎是均匀分布在这条线段上，很难将10张照片线性分类。那么，增加一个特征后的情况会怎么样：

​ 图2.21.1.b

增加一个特征后，我们发现仍然无法找到一条直线将猫和狗分开。所以，考虑需要再增加一个特征：

​ 图2.21.1.c

​ 图2.21.1.d

​ 此时，可以找到一个平面将三角形和圆分开。

​ 现在计算一下不同特征数是样本的密度：

​ （1）一个特征时，假设特征空间时长度为5的线段，则样本密度为$10÷5=2$。

​ （2）两个特征时，特征空间大小为$5\times 5=25$，样本密度为$10÷25=0.4$。

​ （3）三个特征时，特征空间大小是$5\times 5\times 5=125$，样本密度为$10÷125=0.08$。

​ 以此类推，如果继续增加特征数量，样本密度会越来越稀疏，此时，更容易找到一个超平面将训练样本分开。当特征数量增长至无限大时，样本密度就变得非常稀疏。

​ 下面看一下将高维空间的分类结果映射到低维空间时，会出现什么情况？

​ 图2.21.1.e

​ 上图是将三维特征空间映射到二维特征空间后的结果。尽管在高维特征空间时训练样本线性可分，但是映射到低维空间后，结果正好相反。事实上，增加特征数量使得高维空间线性可分，相当于在低维空间内训练一个复杂的非线性分类器。不过，这个非线性分类器太过“聪明”，仅仅学到了一些特例。如果将其用来辨别那些未曾出现在训练样本中的测试样本时，通常结果不太理想，会造成过拟合问题。

​ 图2.21.1.f

​ 上图所示的只采用2个特征的线性分类器分错了一些训练样本，准确率似乎没有图2.21.1.e的高，但是，采用2个特征的线性分类器的泛化能力比采用3个特征的线性分类器要强。因为，采用2个特征的线性分类器学习到的不只是特例，而是一个整体趋势，对于那些未曾出现过的样本也可以比较好地辨别开来。换句话说，通过减少特征数量，可以避免出现过拟合问题，从而避免“维数灾难”。

​ 上图从另一个角度诠释了“维数灾难”。假设只有一个特征时，特征的值域是0到1，每一个三角形和圆的特征值都是唯一的。如果我们希望训练样本覆盖特征值值域的20%，那么就需要三角形和圆总数的20%。我们增加一个特征后，为了继续覆盖特征值值域的20%就需要三角形和圆总数的45%($0.452^2\approx 0.2$)。继续增加一个特征后，需要三角形和圆总数的58%($0.583^3\approx 0.2$)。随着特征数量的增加，为了覆盖特征值值域的20%，就需要更多的训练样本。如果没有足够的训练样本，就可能会出现过拟合问题。

​ 通过上述例子，我们可以看到特征数量越多，训练样本就会越稀疏，分类器的参数估计就会越不准确，更加容易出现过拟合问题。“维数灾难”的另一个影响是训练样本的稀疏性并不是均匀分布的。处于中心位置的训练样本比四周的训练样本更加稀疏。

​ 假设有一个二维特征空间，如上图所示的矩形，在矩形内部有一个内切的圆形。由于越接近圆心的样本越稀疏，因此，相比于圆形内的样本，那些位于矩形四角的样本更加难以分类。当维数变大时，特征超空间的容量不变，但单位圆的容量会趋于0，在高维空间中，大多数训练数据驻留在特征超空间的角落。散落在角落的数据要比处于中心的数据难于分类。

2.21.2 怎样避免维数灾难

有待完善！！！

解决维度灾难问题：

主成分分析法PCA，线性判别法LDA

奇异值分解简化数据、拉普拉斯特征映射

Lassio缩减系数法、小波分析法、

2.21.3 聚类和降维有什么区别与联系

​ 聚类用于找寻数据内在的分布结构，既可以作为一个单独的过程，比如异常检测等等。也可作为分类等其他学习任务的前驱过程。聚类是标准的无监督学习。

​ 1）在一些推荐系统中需确定新用户的类型，但定义“用户类型”却可能不太容易，此时往往可先对原有的用户数据进行聚类，根据聚类结果将每个簇定义为一个类,然后再基于这些类训练分类模型,用于判别新用户的类型。

​ 2）而降维则是为了缓解维数灾难的一个重要方法，就是通过某种数学变换将原始高维属性空间转变为一个低维“子空间”。其基于的假设就是，虽然人们平时观测到的数据样本虽然是高维的，但是实际上真正与学习任务相关的是个低维度的分布。从而通过最主要的几个特征维度就可以实现对数据的描述，对于后续的分类很有帮助。比如对于Kaggle（数据分析竞赛平台之一）上的泰坦尼克号生还问题。通过给定一个乘客的许多特征如年龄、姓名、性别、票价等，来判断其是否能在海难中生还。这就需要首先进行特征筛选，从而能够找出主要的特征，让学习到的模型有更好的泛化性。

​ 聚类和降维都可以作为分类等问题的预处理步骤。

​ 但是他们虽然都能实现对数据的约减。但是二者适用的对象不同，聚类针对的是数据点，而降维则是对于数据的特征。另外它们有着很多种实现方法。聚类中常用的有K-means、层次聚类、基于密度的聚类等；降维中常用的则PCA、Isomap、LLE等。

2.21.4 有哪些聚类算法优劣衡量标准

不同聚类算法有不同的优劣和不同的适用条件。可从以下方面进行衡量判断：
1、算法的处理能力：处理大的数据集的能力，即算法复杂度；处理数据噪声的能力；处理任意形状，包括有间隙的嵌套的数据的能力；
2、算法是否需要预设条件：是否需要预先知道聚类个数，是否需要用户给出领域知识；

​ 3、算法的数据输入属性：算法处理的结果与数据输入的顺序是否相关，也就是说算法是否独立于数据输入顺序；算法处理有很多属性数据的能力，也就是对数据维数是否敏感，对数据的类型有无要求。

2.21.5 聚类和分类有什么区别

**聚类（Clustering） **
聚类，简单地说就是把相似的东西分到一组，聚类的时候，我们并不关心某一类是什么，我们需要实现的目标只是把相似的东西聚到一起。一个聚类算法通常只需要知道如何计算相似度就可以开始工作了，因此聚类通常并不需要使用训练数据进行学习，在机器学习中属于无监督学习。

**分类（Classification） **

​ 分类，对于一个分类器，通常需要你告诉它“这个东西被分为某某类”。一般情况下，一个分类器会从它得到的训练集中进行学习，从而具备对未知数据进行分类的能力，在机器学习中属于监督学习。

2.21.6 不同聚类算法特点性能比较

算法名称	可伸缩性	适合的数据类型	高维性	异常数据抗干扰性	聚类形状	算法效率
WAVECLUSTER	很高	数值型	很高	较高	任意形状	很高
ROCK	很高	混合型	很高	很高	任意形状	一般
BIRCH	较高	数值型	较低	较低	球形	很高
CURE	较高	数值型	一般	很高	任意形状	较高
K-PROTOTYPES	一般	混合型	较低	较低	任意形状	一般
DENCLUE	较低	数值型	较高	一般	任意形状	较高
OPTIGRID	一般	数值型	较高	一般	任意形状	一般
CLIQUE	较高	数值型	较高	较高	任意形状	较低
DBSCAN	一般	数值型	较低	较高	任意形状	一般
CLARANS	较低	数值型	较低	较高	球形	较低

2.21.7 四种常用聚类方法之比较

​ 聚类就是按照某个特定标准把一个数据集分割成不同的类或簇，使得同一个簇内的数据对象的相似性尽可能大，同时不在同一个簇中的数据对象的差异性也尽可能地大。即聚类后同一类的数据尽可能聚集到一起，不同类数据尽量分离。
​ 主要的聚类算法可以划分为如下几类：划分方法、层次方法、基于密度的方法、基于网格的方法以及基于模型的方法。下面主要对k-means聚类算法、凝聚型层次聚类算法、神经网络聚类算法之SOM,以及模糊聚类的FCM算法通过通用测试数据集进行聚类效果的比较和分析。

2.21.8 k-means聚类算法

k-means是划分方法中较经典的聚类算法之一。由于该算法的效率高，所以在对大规模数据进行聚类时被广泛应用。目前，许多算法均围绕着该算法进行扩展和改进。
k-means算法以k为参数，把n个对象分成k个簇，使簇内具有较高的相似度，而簇间的相似度较低。k-means算法的处理过程如下：首先，随机地 选择k个对象，每个对象初始地代表了一个簇的平均值或中心;对剩余的每个对象，根据其与各簇中心的距离，将它赋给最近的簇;然后重新计算每个簇的平均值。 这个过程不断重复，直到准则函数收敛。通常，采用平方误差准则，其定义如下：
$$E=\sum _{i=1}^k\sum _{p\in C_i}{\Vert p-m_i\Vert }^2$$
　这里E是数据中所有对象的平方误差的总和，p是空间中的点，$m_i$是簇$C_i$的平均值[9]。该目标函数使生成的簇尽可能紧凑独立，使用的距离度量是欧几里得距离，当然也可以用其他距离度量。

算法流程：
​ 输入：包含n个对象的数据和簇的数目k；
​ 输出：n个对象到k个簇，使平方误差准则最小。
​ 步骤：
　　(1) 任意选择k个对象作为初始的簇中心；
　　(2) 根据簇中对象的平均值，将每个对象(重新)赋予最类似的簇；
　　(3) 更新簇的平均值，即计算每个簇中对象的平均值；
　　(4) 重复步骤(2)、(3)直到簇中心不再变化；

2.21.9 层次聚类算法

​ 根据层次分解的顺序是自底向上的还是自上向下的，层次聚类算法分为凝聚的层次聚类算法和分裂的层次聚类算法。
　凝聚型层次聚类的策略是先将每个对象作为一个簇，然后合并这些原子簇为越来越大的簇，直到所有对象都在一个簇中，或者某个终结条件被满足。绝大多数层次聚类属于凝聚型层次聚类，它们只是在簇间相似度的定义上有所不同。

算法流程：

注：以采用最小距离的凝聚层次聚类算法为例：

(1) 将每个对象看作一类，计算两两之间的最小距离；
　(2) 将距离最小的两个类合并成一个新类；
　(3) 重新计算新类与所有类之间的距离；
　(4) 重复(2)、(3)，直到所有类最后合并成一类。

2.21.10 SOM聚类算法

​ SOM神经网络[11]是由芬兰神经网络专家Kohonen教授提出的，该算法假设在输入对象中存在一些拓扑结构或顺序，可以实现从输入空间(n维)到输出平面(2维)的降维映射，其映射具有拓扑特征保持性质,与实际的大脑处理有很强的理论联系。

​ SOM网络包含输入层和输出层。输入层对应一个高维的输入向量，输出层由一系列组织在2维网格上的有序节点构成，输入节点与输出节点通过权重向量连接。 学习过程中，找到与之距离最短的输出层单元，即获胜单元，对其更新。同时，将邻近区域的权值更新，使输出节点保持输入向量的拓扑特征。

算法流程：

​ (1) 网络初始化，对输出层每个节点权重赋初值；
​ (2) 从输入样本中随机选取输入向量并且归一化，找到与输入向量距离最小的权重向量；
​ (3) 定义获胜单元，在获胜单元的邻近区域调整权重使其向输入向量靠拢；
​ (4) 提供新样本、进行训练；
​ (5) 收缩邻域半径、减小学习率、重复，直到小于允许值，输出聚类结果。

2.21.11 FCM聚类算法

​ 1965年美国加州大学柏克莱分校的扎德教授第一次提出了‘集合’的概念。经过十多年的发展，模糊集合理论渐渐被应用到各个实际应用方面。为克服非此即彼的分类缺点，出现了以模糊集合论为数学基础的聚类分析。用模糊数学的方法进行聚类分析，就是模糊聚类分析[12]。
​ FCM算法是一种以隶属度来确定每个数据点属于某个聚类程度的算法。该聚类算法是传统硬聚类算法的一种改进。
​ 设数据集$X=x_1,x_2,...,x_n$,它的模糊$c$划分可用模糊矩阵$U=[u_{ij}]$表示，矩阵$U$的元素$u_{ij}$表示第$j(j=1,2,...,n)$个数据点属于第$i(i=1,2,...,c)$类的隶属度，$u_{ij}$满足如下条件：
$$\begin{array}{c}\{\begin{array}{l}{\sum }_{i=1}^c{u}_{ij}=1\forall j\\ u_{ij}\in [0,1]\forall i,j\\ {\sum }_{j=1}^c{u}_{ij}>0\forall i\end{array}\end{array}$$
目前被广泛使用的聚类准则是取类内加权误差平方和的极小值。即：
$$(min)J_m(U,V)=\sum _{j=1}^n\sum _{i=1}^c{u}_{ij}^m{d}_{ij}^2(x_j,v_i)$$
其中$V$为聚类中心，$m$为加权指数，$d_{ij}(x_j,v_i)=||v_i-x_j||$。

算法流程：

(1) 标准化数据矩阵；
　(2) 建立模糊相似矩阵，初始化隶属矩阵；
　(3) 算法开始迭代，直到目标函数收敛到极小值；
　(4) 根据迭代结果，由最后的隶属矩阵确定数据所属的类，显示最后的聚类结果。

2.21.12 四种聚类算法试验

​ 选取专门用于测试分类、聚类算法的国际通用的UCI数据库中的IRIS数据集，IRIS数据集包含150个样本数据，分别取自三种不同 的莺尾属植物setosa、versicolor和virginica的花朵样本,每个数据含有4个属性，即萼片长度、萼片宽度、花瓣长度、花瓣宽度，单位为cm。 在数据集上执行不同的聚类算法，可以得到不同精度的聚类结果。基于前面描述的各算法原理及流程，可初步得如下聚类结果。

聚类方法	聚错样本数	运行时间/s	平均准确率/（%）
K-means	17	0.146001	89
层次聚类	51	0.128744	66
SOM	22	5.267283	86
FCM	12	0.470417	92

注：

(1) 聚错样本数：总的聚错的样本数，即各类中聚错的样本数的和；
(2) 运行时间：即聚类整个过程所耗费的时间，单位为s；
(3) 平均准确度：设原数据集有k个类,用$c_i$表示第i类，$n_i$为$c_i$中样本的个数，$m_i$为聚类正确的个数,则$m_i/n_i$为 第i类中的精度，则平均精度为：$avg=\frac{1}{k}{\sum }_{i=1}^k\frac{m_i}{n_i}$。

参考文献

[1] Goodfellow I, Bengio Y, Courville A. Deep learning[M]. MIT press, 2016.
[2] 周志华. 机器学习[M].清华大学出版社, 2016.
[3] Michael A. Nielsen. “Neural Networks and Deep Learning”, Determination Press, 2015.
[4] Suryansh S. Gradient Descent: All You Need to Know, 2018.
[5] 刘建平. 梯度下降小结,EM算法的推导, 2018
[6] 杨小兵．聚类分析中若干关键技术的研究[D]． 杭州：浙江大学, 2005.
[7] XU Rui, Donald Wunsch 1 1． survey of clustering algorithm[J]．IEEE．Transactions on Neural Networks, 2005, 16(3)：645-67 8.
[8] YI Hong, SAM K． Learning assignment order of instances for the constrained k-means clustering algorithm[J]．IEEE Transactions on Systems, Man, and Cybernetics, Part B：Cybernetics,2009,39 (2)：568-574.
[9] 贺玲, 吴玲达, 蔡益朝．数据挖掘中的聚类算法综述[J]．计算机应用研究, 2007, 24(1):10-13．
[10] 孙吉贵, 刘杰, 赵连宇．聚类算法研究[J]．软件学报, 2008, 19(1)：48-61．
[11] 孔英会, 苑津莎, 张铁峰等．基于数据流管理技术的配变负荷分类方法研究．中国国际供电会议, CICED2006．
[12] 马晓艳, 唐雁．层次聚类算法研究[J]．计算机科学, 2008, 34(7)：34-36．
[13] FISHER R A． Iris Plants Database https://www.ics.uci.edu/vmlearn/MLRepository.html, Authorized license．
[14] Quinlan J R. Induction of decision trees[J]. Machine learning, 1986, 1(1): 81-106.
[15] Breiman L. Random forests[J]. Machine learning, 2001, 45(1): 5-32.