四川大学软件学院｜数据挖掘课程｜期末复习

基本概念

数据挖掘

从数据源中探寻有用的模式（Pattern）或知识的过程。

机器学习

机器学习是对能通过经验自动改进的计算机算法的研究，是用数据或以往的经验，以此优化计算机程序的性能标准。

有监督学习 & 无监督学习

有监督学习从有标记的训练数据中推导出预测函数。有标记的训练数据是指每个训练实例都包括输入和期望的输出。

给定数据，预测标签

无监督学习从无标记的训练数据中推断结论。最典型的无监督学习就是聚类分析，它可以在探索性数据分析阶段用于发现隐藏的模式或者对数据进行分组。

给定数据，寻找隐藏的结构/特征

分类 & 回归

回归问题：预测一个值

如：预测房价、未来的天气情况等

分类问题：将事物打上一个标签，通常结果为离散值

如：判断一幅图片上的动物是一只猫还是一只狗

分类通常是建立在回归之上，分类的最后一层通常要使用 softmax 函数进行判断其所属类别。

关联规则、序列模式

关联规则（Association Rule）：数据中所蕴含的一类重要规则

序列模式：给定一个由不同序列组成的集合，其中每个序列由不同的元素按顺序有序排列，每个元素由不同项目组成

关联规则的支持度、序列模式的支持度

规则 $X\to Y$ 的支持度是指 $T$ 中包含 $X\cup Y$ 的事务的百分比：
$$支持度=\frac{(X\cup Y).count}{n}$$

序列模式支持度：序列中包含有该序列的数据占总数据的比重

关联规则的置信度

规则 $X\to Y$ 的置信度是指即包含 $X$ 又包含 $Y$ 的事务的数量占所有包含了 $X$ 的事务的百分比：
$$置信度=\frac{(X\cup Y).count}{X.count}$$

分类器的准确率

$$Accuracy=\frac{correct}{total}$$

分类器的精确率 & 召回率

混合矩阵

	分类为正例	分类为负例
实际上为正例	TP	FN
实际上为负例	FP	TN

查准率（Precision）

查准率 = 被正确分类的正例数量 / 被分类为正例的数据数量
$$p=\frac{TP}{TP+FP}$$

查全率（Recall）

查全率 = 被正确分类的正例数量 / 实际的正例数量
$$r=\frac{TP}{TP+FN}$$

F-score

F-score 是查准率（$p$）与查全率（$r$）的调和平均值

查全率的提高往往是在牺牲查准率的情况下得到的，反之亦然；因此，需要使用 F-score

如果要使得 F-score 很高的话，$p$ 和 $r$ 都需要很高

$$F=\frac{2}{\frac{1}{p}+\frac{1}{r}}=\frac{2pr}{p+r}$$

过拟合 & 欠拟合

过拟合

• 模型复杂度高于实际问题，模型在训练集上表现很好，但在测试集上却表现很差
• 模型没有理解数据背后的规律，泛化能力差

防止过拟合

• 提供正则化约束的参数正则化方法，如 L1/L2 正则化
• 通过工程上的技巧来实现更低泛化误差的方法，如提前终止（Early stopping）和Dropout
• 不直接提供约束的隐式正则化方法，如数据增强、控制模型复杂性、降低特征数量等

欠拟合

• 模型不能在训练集上获得足够低的误差
• 模型复杂度低，在训练集上就表现很差，没法学习到数据背后的规律

K折交叉验证

数据准备：将数据集分成 $K$ 个不相交的等大数据子集

K 次迭代：

1. 测试集：第 $K$ 个子集
2. 训练集：其余的 $K-1$ 个子集的

集成学习

监督学习算法通常被描述为执行搜索假设空间的任务以找到合适的假设，该假设将对特定问题做出良好预测。即使假设空间包含非常适合特定问题的假设，也可能很难找到一个很好的假设。集成学习结合多个假设，形成一个（希望）更好的假设。

聚类

聚类（Clustering）是按照某个特定标准（如距离）把一个数据集分割成不同的类或簇，使得同一个簇内的数据对象的相似性尽可能大，同时不在同一个簇中的数据对象的差异性也尽可能地大。

基本原理性问题

距离度量

闵可夫斯基距离

$$dist(\overrightarrow{x_i},\overrightarrow{x_j})=(|\overrightarrow{x_{i1}}-\overrightarrow{x_{j1}}{|}^h+|\overrightarrow{x_{i2}}-\overrightarrow{x_{j2}}{|}^h+\cdots +|\overrightarrow{x_{ir}}-\overrightarrow{x_{jr}}{|}^h{)}^{\frac{1}{h}}$$

欧几里得距离

$$dist(\overrightarrow{x_i},\overrightarrow{x_j})=\sqrt{(\overrightarrow{x_{i1}}-\overrightarrow{x_{j1}}{)}^2+(\overrightarrow{x_{i2}}-\overrightarrow{x_{j2}}{)}^2+\cdots +(\overrightarrow{x_{ir}}-\overrightarrow{x_{jr}}{)}^2}$$

曼哈顿距离

$$dist(\overrightarrow{x_i},\overrightarrow{x_j})=|\overrightarrow{x_{i1}}-\overrightarrow{x_{j1}}|+|\overrightarrow{x_{i2}}-\overrightarrow{x_{j2}}|+\cdots +|\overrightarrow{x_{ir}}-\overrightarrow{x_{jr}}|$$

加权欧几里得距离

每个属性都有一个权值来表示它相对于其他属性的重要性
$$dist(\overrightarrow{x_i},\overrightarrow{x_j})=\sqrt{w_1(\overrightarrow{x_{i1}}-\overrightarrow{x_{j1}}{)}^2+w_2(\overrightarrow{x_{i2}}-\overrightarrow{x_{j2}}{)}^2+\cdots +w_r(\overrightarrow{x_{ir}}-\overrightarrow{x_{jr}}{)}^2}$$

平方欧几里得距离

加大了距离较远的数据点的权重
$$dist(\overrightarrow{x_i},\overrightarrow{x_j})=(\overrightarrow{x_{i1}}-\overrightarrow{x_{j1}}{)}^2+(\overrightarrow{x_{i2}}-\overrightarrow{x_{j2}}{)}^2+\cdots +(\overrightarrow{x_{ir}}-\overrightarrow{x_{jr}}{)}^2$$

切比雪夫距离

当需要**定义当两个数据点有一个属性值不同时它们就是“不同的”**时，切比雪夫距离定义是合适的
$$dist(\overrightarrow{x_i},\overrightarrow{x_j})=max(|\overrightarrow{x_{i1}}-\overrightarrow{x_{j1}}|,|\overrightarrow{x_{i2}}-\overrightarrow{x_{j2}}|,\cdots ,|\overrightarrow{x_{ir}}-\overrightarrow{x_{jr}}|)$$

相似度度量

余弦相似度

通过计算两个向量的夹角余弦值：
$$cos\theta =\frac{\vec{x}\cdot \vec{y}}{||\vec{x}||\times ||\vec{y}||}$$
余弦相似度的取值范围为 $[-1,1]$，值越大表示越相似。

Jaccard

Jaccard 指数用于度量样本集中的相似度。

设两数据点 $\vec{x}$ 与 $\vec{y}$，它们的每个属性都是布尔属性，则：

• 令 $a$ 为两个数据点中具有相同属性值 $1$ 的属性个数
• 令 $b$ 为两个数据点中 $\overrightarrow{x_i}=1$ 且 $\overrightarrow{y_i}=0$ 的属性个数
• 令 $c$ 为两个数据点中 $\overrightarrow{x_i}=0$ 且 $\overrightarrow{y_i}=1$ 的属性个数
• 令 $d$ 为两个数据点中具有相同属性值 $0$ 的属性个数

则 Jaccard 距离为：
$$dist(\vec{x},\vec{y})=\frac{b+c}{a+b+c}$$

关联规则挖掘 —— Apriori

向下封闭属性

如果一个项集满足某个最小支持度要求，那么这个项集的任何非空子集必须都满足这个最小支持度。

规则序列覆盖，关联规则用于分类

决策树

基本思想

决策树的每个内部节点代表对某一属性的一次测试，每条边代表一个测试结果，叶节点代表某个类或类的分布。

决策树的决策过程需要从决策树的根节点开始，待测数据与决策树中的特征节点进行比较，并按照比较结果选择选择下一比较分支，直到叶子节点作为最终的决策结果。

终止条件

1. 当前结点包含的样本全属于同一个类别，无需划分

2. 当前属性集为空，或是所有样本在所有属性上取值相同，无法划分

   将当前结点标记为叶结点，类别为该结点所包含的样本最多的类别

3. 当前结点包含的样本集合为空，不能划分

   将当前结点标记为叶结点，类别为父结点所包含样本最多的类别

需要剪枝的原因

剪枝（pruning）的目的是为了避免决策树模型的过拟合。

因为决策树算法在学习的过程中为了尽可能的正确的分类训练样本，不停地对结点进行划分，因此这会导致整棵树的分支过多（即模型过于复杂），也就导致了过拟合。

剪枝的方法

预剪枝

预剪枝（pre-pruning）：在构造决策树的过程中，先对每个结点在划分前进行估计，如果当前结点的划分不能带来决策树模型泛化性能的提升，则不对当前结点进行划分并且将当前结点标记为叶结点。

后剪枝

后剪枝（post-pruning）：先把整颗决策树构造完毕，然后自底向上的对非叶结点进行考察，若将该结点对应的子树换为叶结点能够带来泛化性能的提升，则把该子树替换为叶结点。

连续属性的处理方法

二分法

信息增益

熵：用来描述“一个系统的混乱程度”

一个系统的信息熵越高就越无序，信息熵越低就越有序，信息熵越高，使其有序所要消耗的信息量就越大。

假设变量 x ⃗ = { x 1 , x 2 , ⋯   , x i , ⋯   , x n } \vec x = \{x_1, x_2, \cdots, x_i, \cdots, x_n \} x ={x1​,x2​,⋯,xi​,⋯,xn​}，其中每个元素对应的概率为 p ⃗ = { p 1 , p 2 , ⋯   , p i , ⋯   , p n } \vec p = \{p_1, p_2, \cdots, p_i, \cdots, p_n \} p ​={p1​,p2​,⋯,pi​,⋯,pn​}，则对应的熵的计算公式如下：

$$entropy(\vec{x})=-\sum _{i=1}^n{p}_{i}lo{g}_2(p_i)$$

而信息增益（Info-Gain）指的就是熵的减少量（信息增益衡量信息混乱度的减少量）：

$$Gain(S,A)=entropy(S)-entropy(A)$$

其中，$S$ 和 $A$ 分别代表操作前后的数据划分状态。

优点

• 面对类别较小的离散数据时表现较好
• 产生的分类规则易于理解，准确率较高

缺点

• 偏向取值较多的特征
• 在构造树的过程中，需要对数据集进行多次的顺序扫描和排序，因而导致算法的低效
• 只适合于能够驻留于内存的数据集，当训练集大得无法在内存容纳时程序无法运行

朴素贝叶斯

基本思想

对于给出的待分类项，求解在此项出现的条件下各个类别出现的概率，哪个最大，就认为此待分类项属于哪个类别。

$$\begin{gathered} \mathrm{Pr}(C=c_j|A_1=a_1,A_2=a_2,\cdots ,A_{|A|}=a_{|A|}) \\ =\frac{\mathrm{Pr}(C=c_j)\mathrm{Pr}(A_1=a_1,A_2=a_2,\cdots ,A_{|A|}=a_{|A|}|C=c_j)}{\mathrm{Pr}(A_1=a_1,A_2=a_2,\cdots ,A_{|A|}=a_{|A|})} \\ =\frac{\mathrm{Pr}(C=c_j)\mathrm{Pr}(A_1=a_1,A_2=a_2,\cdots ,A_{|A|}=a_{|A|}|C=c_j)}{\sum _{k=1}^{|C|}\mathrm{Pr}(C=c_k)\mathrm{Pr}(A_1=a_1,A_2=a_2,\cdots ,A_{|A|}=a_{|A|}|C=c_k)} \end{gathered}$$

根据条件独立假设，得到：

$$\mathrm{Pr}(A_1=a_1,A_2=a_2,\cdots ,A_{|A|}=a_{|A|}|C=c_j)=\prod _{i=1}^{|A|}\mathrm{Pr}(A_i=a_i|C=c_j)$$

进而，得到朴素贝叶斯分类算法的核心公式：

$$\mathrm{Pr}(C=c_j|A_1=a_1,A_2=a_2,\cdots ,A_{|A|})=\frac{\mathrm{Pr}(C=c_j)\prod _{i=1}^{|A|}\mathrm{Pr}(A_i=a_i|C=c_j)}{\sum _{k=1}^{|C|}\mathrm{Pr}(C=c_k)\prod _{i=1}^{|A|}\mathrm{Pr}(A_i=a_i|C=c_k)}$$

然后，需要从训练数据中估计先验概率 $\mathrm{Pr}(C=c_j)$ 和条件概率 $\mathrm{Pr}(A_i=a_i|C=c_j)$：
$$\begin{gathered} \mathrm{Pr}(C=c_j)=\frac{属于类别c_j的样例总数}{数据集中的样例总数} \\ \mathrm{Pr}(A_i=a_i|C=c_j)=\frac{A_i=a_i并且属于类别c_j的样例总数}{属于类别c_j的样例总数} \end{gathered}$$
最后，给定一个测试样例，通过计算下式来决定最有可能的类别：
$$c=argma{x}_{c_j}\mathrm{Pr}(C=c_j)\prod _{i=1}^{|A|}\mathrm{Pr}(A_i=a_i|C=c_j)$$

独立性假设

“数据样本独立同分布”是样本之间的独立性，“特征条件独立性假设”是针对每个样本内部特征之间的独立性，两个独立性假设让模型变得朴素、计算变得简单，尽管牺牲了一些精确度，但在特定的使用场景下也是值得的。

数据样本独立同分布

数据样本之间独立同分布意味着各个数据样本点之间没有依赖关系，也没有时序关系（或者时序关系不重要），是从同一个分布经过多次采样得到的。

如果不是同分布，是由多个分布产生的，那就是混合模型了，典型的如混合高斯模型；如果不独立，样本之间存在某种关系，那就需要把这种依赖关系建模进模型，如几天的天气情况可以使用马尔科夫网络建模。

特征条件独立性假设

假设一个样本 $x$ 有 $n$ 个特征，特征条件独立性假设说的就是在特定类别下这些特征之间是独立的。

估计产生的零概率

对所有概率加入一个小样本校正：令 $n_{ij}$ 为同时满足 $A_i=a_i$ 和 $C=c_j$ 的样本数量，令 $n_j$ 为训练数据中 $C=c_j$ 的数据总数，则校正后的估计是：
$$\mathrm{Pr}(A_i=a_i|C=c_j)=\frac{n_{ij}+\lambda }{n_j+\lambda m_i}$$
其中 $m_i$ 是 $A$ 可能值的总数，$\lambda$ 是一个因子，一般设为 $\lambda =1/n$（$n$ 是训练数据的总数），当 $\lambda =1$ 时，得到 Laplace 延续率。

多项式朴素贝叶斯 —— 文本分类

支持向量机（SVM）

假设空间中有超平面 $\vec{W}\vec{x}+b=0$，其中 $\vec{W}$ 是法向量，则点 $\overrightarrow{x_i}$ 到超平面 $\vec{W}\vec{x}+b=0$ 的垂直欧式距离为：
$$\frac{|\vec{W}\overrightarrow{x_i}+b|}{||\vec{W}||}$$
其中 $||\vec{W}||$ 是 $\vec{W}$ 的欧式范数。

SVM 最大化正例与负例之间的边距 $\to$ 提高模型鲁棒性

对正例，支持向量所在的超平面 $H_{+}$ 为 $\vec{W}\vec{x}+b=1$；对负例，支持向量所在的超平面 $H_{-}$ 为 $\vec{W}\vec{x}+b=-1$。

支持向量：使得 $y_i(\vec{W}{\vec{x}}_i+b)-1=0$ 的若干个点

定义 $d_{+}$ 与 $d_{-}$ 为超平面 $\vec{W}\vec{x}+b=0$ 离正例与负例的最近距离，有 $d_{+}=d_{-}=\frac{1}{||\vec{W}||}$，即边距 $margin=d_{+}+d_{-}=\frac{2}{||\vec{W}||}$。

最大化边距 $margin$ $<=>$ 最小化 $||\vec{W}|{|}^2/2$ $<=>$ 最小化 ${\vec{W}}^T\vec{W}/2$

且需要满足 $y_i(\vec{W}\vec{x}+b)\ge 1,i=1,2,\cdots ,n$ ：
$$\begin{gathered} \vec{W}\vec{x}+b\ge 1，当y_i=1 \\ \vec{W}\vec{x}+b\le -1，当y_i=-1 \end{gathered}$$
故可以使用标准拉格朗日乘子方法解决，即：
$$L_p=\frac{1}{2}||\vec{W}||-\sum _{i=1}^n{\alpha }_i[y_i(\vec{W}{\vec{x}}_i+b)-1]$$
其中，${\alpha }_i\ge 0$ 就是拉格朗日乘子。

对偶问题计算

$$L=\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i$$

$$\begin{gathered} {\vec{w}}^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i\overrightarrow{x_i} \\ {b}^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(\overrightarrow{x_i}\cdot \overrightarrow{x_j}) \end{gathered}$$

Kernel 函数

简化计算

KNN

当预测一个新的值 $x$ 的时候，根据它距离最近的 $K$ 个点是什么类别来判断 $x$ 属于哪个类别。

优点

1. 简单易用
2. 模型训练时间快（KNN算法是惰性的）
3. 预测效果好
4. 对异常值不敏感

缺点

1. 对内存要求较高（因为该算法存储了所有训练数据）
2. 预测阶段可能很慢
3. 对不相关的功能和数据规模敏感

K-means 聚类

给定样本集 D = { x 1 ⃗ , x 2 ⃗ , ⋯   , x m ⃗ } D=\{\vec {x_1}, \vec {x_2}, \cdots, \vec {x_m} \} D={x1​ ​,x2​ ​,⋯,xm​ ​}，“$k$ 均值“算法针对聚类所得簇划分 C = { C 1 , C 2 , ⋯   , C k } C = \{C_1, C_2, \cdots, C_k \} C={C1​,C2​,⋯,Ck​} 最小化平方误差：
$$E=\sum _{i=1}^k\sum _{\vec{x}\in C_i}||\vec{x}-\overrightarrow{{\mu }_i}|{|}_2^2$$
其中 $\overrightarrow{{\mu }_i}=\frac{1}{|C_i|}{\sum }_{\vec{x}\in C_i}\vec{x}$ 是簇 $C_i$ 的均值向量。

选择 k 个“初始均值向量中心”
repeat
	1. 将数据集中每个数据分配到距离最近的“均值向量中心”（一般使用欧氏距离作度量）
	2. 重新计算每个簇的“均值向量中心”
until 没有数据点被重新分配给不同的聚类 ｜ 没有聚类中心再发生变化 ｜ 平方误差局部最小

优点

1. 简洁
2. 高效

缺点

1. 应用于那些“均值能被定义”的数据集，很难被应用到范畴数据上
2. 用户需要事先指定聚类数目 $k$
3. 对于异常值十分敏感

层次聚类

合并（自下而上）聚类

• 开始：树状图的最底层
• 过程：每一次通过合并最相似（距离最近）的聚类来形成上一层中的聚类
• 终止：全部数据点都合并到一个聚类（根结点聚类）中时停止

通过计算每一个类别的数据点与所有数据点之间的距离来确定它们之间的相似性（距离越小，相似度越高），并将距离最近的两个数据点或类别进行组合，生成聚类树。

分裂（自上而下）聚类

• 开始：一个包含全部数据点的聚类（根）
• 过程：把根结点聚类分裂成一些子聚类，每个子聚类再递归地继续往下分裂
• 终止：每个聚类中仅包含一个数据点

层次聚类方法

1. 单连结方法
   1. 两个聚类之间的距离：两个聚类中距离最近的两个数据点之间的距离
   2. 每一步合并那些最近元素具有最小值的距离，即具有最短最近数据点的两个聚类
   3. 对噪声数据敏感：可能会引发连锁反应而形成长链
2. 全连结方法
   1. 两个聚类之间的距离：两个聚类中所有数据点之间两两距离的最大值
   2. 每一步合并那些最远元素具有最短距离，即具有最短最远数据点的两个聚类
   3. 对异常值敏感
3. 平均连结方法
   1. 介于全连结防范对于异常值的敏感和单连结方法形成长链的趋势之间的折中方法
   2. 两个聚类之间的距离：两个聚类之中多个数据点对之间距离之和的平均值

神经网络

集成分类器

Bagging

Bagging使用装袋采样来获取数据子集训练基础学习器。

通常分类任务使用投票的方式集成，而回归任务通过平均的方式集成。

经过 bagging 得到的结果方差（variance）更小。

具体过程

1. 从原始样本集中抽取训练集。每轮从原始样本集中使用 Bootstraping 的方法抽取 n 个训练样本（在训练集中，有些样本可能被多次抽取到，而有些样本可能一次都没有被抽中），共进行 k 轮抽取，得到 k 个训练集（k 个训练集之间是相互独立的）。
2. 每次使用一个训练集得到一个模型，k 个训练集共得到 k 个模型。（注：这里并没有具体的分类算法或回归方法，我们可以根据具体问题采用不同的分类或回归方法，如决策树、感知器等）
3. 得到结果（所有模型的重要性相同）
   1. 对分类问题：将上步得到的 k 个模型采用投票的方式得到分类结果
   2. 对回归问题，计算上述模型的均值作为最后的结果

Boosting

Boosting指的是通过算法集合将弱学习器转换为强学习器。

训练的方式是利用加权的数据。在训练的早期对于错分数据给予较大的权重。

经过 boosting 得到的结果偏差（bias）更小。

具体过程

1. 通过加法模型将基础模型进行线性组合。
2. 每一轮训练都提升那些错误率小的基础模型权重，同时减小错误率高的模型权重。
3. 在每一轮改变训练数据的权值或概率分布，通过提高那些在前一轮被弱分类器“分错样例”的权值，减小前一轮“分对样例”的权值，来使得分类器对误分的数据有较好的效果。

Bagging 与 Boosting 的不同

样本选择

Bagging：训练集是在原始集中有放回选取的，从原始集中选出的各轮训练集之间是独立的。

Boosting：每一轮的训练集不变，只是训练集中每个样例在分类器中的权重发生变化。而权值是根据上一轮的分类结果进行调整。

样例权重

Bagging：使用均匀取样，每个样例的权重相等

Boosting：根据错误率不断调整样例的权值，错误率越大则权重越大。

预测函数

Bagging：所有预测函数的权重相等。

Boosting：每个弱分类器都有相应的权重，对于分类误差小的分类器会有更大的权重。

并行计算

Bagging：各个预测函数可以并行生成

Boosting：各个预测函数只能顺序生成，因为后一个模型参数需要前一轮模型的结果。

半监督学习

在许多实际问题中，有标签样本和无标签样本往往同时存在，且无标签样本较多，而有标签样本则相对较少。

半监督学习：在少量样本标签的引导下，能够充分利用大量无标签样本提高学习性能，避免了数据资源的浪费，同时解决了有标签样本较少时监督学习方法泛化能力不强和缺少样本标签引导时无监督学习方法不准确的问题。

半监督算法可以分为两类：直推式和归纳式。

直推式半监督中只包含有标签样本集和测试样本集，且测试样本也是无标签样本。直推式半监督算法先将测试样本视为无标签样本，然后利用有标签样本和无标签样本训练模型，并在训练过程中预测无标签样本。因此，直推式半监督算法只能处理当前的无标签样本（测试样本），不能直接进行样本外的扩展。对于新的测试样本，直推式半监督算法需要重新训练模型才能预测其标签。

归纳式半监督算法除了使用有标签样本集和无标签样本集外，还使用独立的测试样本集。归纳式半监督算法能够处理整个样本空间中的样本。归纳式半监督算法在有标签样本和无标签样本上训练学习模型。该模型不仅可以预测训练无标签样本的标签，还能直接预测新测试样本的标签。