现代统计模型——学习笔记

第1节

现代统计模型

重难点：半参数回归模型

出勤+作业+结课论文（基于R：有创新、解决实际问题）

非参数统计分析相关知识

现代非参数统计——薛留根 科学出版社

R语言(区分大小写)

1.+、-、*、/、^(乘方)

2.赋值符号：<-

3.数据对象类型

存储角度：数值型、字符型、逻辑型

结构角度：向量、矩阵、数据框（各列存储类型不同）、数组、列表（包含前面所有对象）

4.c(函数)、rep(重复函数)、seq(序列函数)
scan(从键盘读入数据) ctrl+回车结束键盘输入
vector、matrix、data.frame、array、list
5.fix利用编辑窗口访问矩阵元素

第2节

聚类模型——无监督学习

1.聚类任务

聚类目标：将数据样本划分为若干个通常不相交的“簇”(cluster)
聚类的两个作用：

• 作为一个单独过程，用于找寻数据内在的分布结构
• 作为其他学习任务的前驱过程
  基本想法：“簇内相似度”高（距离小） 且 “簇间相似度”低（距离大）

2.性能度量

性能度量，亦称“有效性指标”

• 外部指标：将聚类结果与某个参考模型进行比较，
  ​ 如Jaccard系数，FM指数，Rand指数。结果值均在[0,1]之间 ，值越大越好
• 内部指标：直接考察聚类结果不使用任何参考模型，
  ​ 如DB指数（值越小越好），Dunn指数（值越大越好）等
  m(m-1)/2=C_m²表示从m个样本中选取1个样本对（2个样本），不重复

	λi*=λj*	λi*≠λj*
λi=λj	SS（a）	SD（b）
λi≠λj	DS（c）	DD（d）

3.距离计算

距离度量 (distance metric) 需满足的基本性质：

常用的距离形式：
闵可夫斯基距离(Minkowski distance)

• 有序属性（身高、体重）：可使用闵可夫斯基距离进行计算
• 无序属性（性别）：可使用VDM距离
  ​ 令m_u,a表示属性 u上取值为 a 的样本数，m_u,a,i表示在第 i个样本簇中在属性 u 上取值为 a 的样本数，k 为样本簇数，则属性 u 上两个离散值 a 与 b 之间的 VDM 距离为
  
• 混合属性（身高、体重、性别）：可使用 MinkovDM（将闵可夫斯基距离与VDM距离结合）。假设有n_c个有序属性，n-n_c个无序属性，则
  
  当样本空间中不同属性的重要性不同时，可使用"加权距离"，以加权闵可夫斯基距离为例：
  
  
  注：聚类的“好坏”不存在绝对标准

4.常见聚类方法

• 原型聚类：k均值聚类（终止条件：1.簇中心未改变；2.设置迭代次数；3.簇中心变化较小）、学习向量量化（简称LVQ、有监督）、高斯混合聚类
• 密度聚类：DBSCAN,OPTICS, DENCLUE
• 层次聚类：AGNES (自底向上)，DIANA(自顶向下)

原型聚类-K-means

R实现-243
Step1:随机选取k个样本点作为簇中心
Step2: 将其他样本点根据其与簇中心的距离，划分给最近的簇
Step3: 更新各簇的均值向量，将其作为新的簇中心
Step4: 若所有簇中心未发生改变，则停止；否则执行 Step 2

原型聚类-学习向量量化

t_i与y_i的取值一样，都是从1到q. t_i*与λ_j的意义相同，都代表簇标记
LVQ算法的关键在于6-10行，即如何更新原型向量。直观感觉，对样本x_j，若最近的原型向量p_i*与x_j的类别标记相同，则令p_i*向x_j 的方向靠拢，公式为：

p^’与x_j之间的距离为：

设学习率η为超参数，令η∈(0，1)，则原型向量p_i*在更新为p^’之后更接近 x_j。

在学习到一组原型向量{p₁，p₂，···，p_q}之后，即可实现对样本空间X的簇划分，对任意样本x，它将被划入与其距离最近的原型向量所代表的簇中；事实上，每个原型向量p_i定义了与之相关的一个区域R_i，该区域中每个样本与p_i的距离不大于它与其他原型向量p_i‘(i‘≠i)的距离，即：

对样本空间X形成的簇划分R₁，R₂，···，R_q，通常称为"Voronoi剖分"。

原型聚类-高斯混合聚类

采用概率模型来表达聚类原型（R实现-253）
n 维样本空间中的随机向量 x 若服从高斯分布，则其概率密度函数为

假设样本由下面这个高斯混合分布生成：

根据α₁，α₂，···，α_k定义的先验分布选择高斯混合成分，其中α_i为选择第 i 个混合成分的概率；
然后，根据被选择的混合成分的概率密度函数进行采样，从而生成相应的样本。
一维高斯混合模型










​

第3节

密度聚类–DBSCAN

R实现-289

层次聚类–AGNES(AGglomerative NESting)

R实现-251


Step1: 将每个样本点作为一个簇
Step2: 合并最近的两个簇
Step3: 若所有样本点都存在于一个簇中，则停止；否则转到 Step2

SOM网络聚类

R实现-275
SOM，最早是2001年芬兰科学家Kohonen提出的一种可视化高维数据的方法，属人工神经网络范畴。
1.SOM网络的拓扑结构

网络包含两层：一个输入层和一个输出层（竞争层）
输入层中的每个输入节点与输出节点相连，且连接强度通过连接权重测度。
输出节点之间有侧向连接。侧向连接没有权重，仅表示周边有哪些邻接结点。
2.SOM聚类过程

• 第一步，数据预处理。
• 第二步，确定聚类的初始类中心。
  通常，第j个类的质心位置由p维向量w_j=(w_1j，w_2j，···，w_pj)确定，向量w_j为SOM网络的网络权值，w_ij是第i个输入节点与第j个输出节点的连接权值。
• 第三步，t时刻，随机读入观测数据x(t)，分别计算它与K个类质心的欧氏距离D(t)，并找出距离最近的类质心。这个类质心对应的输出节点即为“获胜”节点，是对第t个观测样本最“敏感”的节点，记为Winc(t)。
• 第四步，调整“获胜”节点Winc(t)和其邻接节点的网络权值。
• 第五步，上述第三步和第四步会不断反复，直到满足迭代终止条件为止。迭代终止条件是：权值基本稳定或者到达指定迭代的次数。
  3.网络权值调整涉及两个问题
• 第一，调整算法
  
• 第二，怎样的节点应视为“获胜”节点的邻接节点

​ 以Winc(t)为中心覆盖范围内的输出节点均视为Winc(t)的邻接节点。

​ 当领域范围内不覆盖任何节点时，SOM聚类与K-Means聚类相同。
注：输出层形成了一个能反映各类样本结构（类）特征关联的映射，有效地将数据在高维聚类特征空间中的类特征，投影到低维空间中。

第4节

模式甄别：诊断异常数据

​ 模式，简言之，就是数据中的异常值。发现数据中的模式极为必要，且有众多应用场景，其中最常见的是欺诈侦测。例如：依据海量历史数据，发现信用卡刷卡金额、手机通话量的非常规增加;诊断医疗保险欺诈和虚报瞒报行为等。

1.模式甄别方法

​ 对不同的模式甄别问题应采用不同的甄别方法。模式甄别涉及两种情况：
第一，甄别历史上尚未出现过的模式

• 数据特点：只有相关的属性特征变量，没有是否为模式的标签变量。
• 该类问题的模式，通常表现出严重偏离数据全体，与“正常”数据有明显的“不同”。
  第二，甄别历史上曾经出现过的模式
• 数据特点：既有相关的属性特征变量，同时部分样本在是否为模式的标签变量上有明确的取值
• 解决该类问题的思路

1. 忽略标签变量，依据前述方法进行模式甄别。
2. 找到特征变量与标签变量取值间的规律性。
   注：非平衡数据集问题
   在该类问题的数据集中，模式观测的数量远远少于“正常”观测的数量，即模式标签取1的观测个数远远少于取0的（1表示模式，0表示正常）。数据挖掘称这种一类观测数量远大于另一类观测数量的数据集为非平衡数据集。所以，模式甄别有别于一般分类问题的重要特征是：数据对象是非平衡数据集。

2.模式甄别结果及评价

​ 在医疗保险欺诈甄别问题中，按欺诈可能性或欺诈风险评分从高到低的顺序，给出最可能出现欺诈行为的投保人列表是极为必要的。核算人工甄别成本和欺诈成功甄别所能挽回的损失，找到“平衡点”确定欺诈风险评分的最低分数线，仅对高于分数线的投保人做人工再甄别，是更为可行的现实做法。
​ 于是，进一步的问题是：以怎样的标准确定“平衡点”或最低分数线？

（1）决策精度：d/(b+d)，正确甄别的比例
（2）回溯精度：也称召回率或查全率：d/(c+d)，正确甄别的观测个数占实际模式个数的比例

3.模式甄别的无监督侦测方法

分析过程不涉及标签变量，不在标签变量监督下进行，称为无监督侦测。
判断观测是否严重偏离数据全体有不同的角度

• 从概率角度-EM方法
  从概率角度出发，将统计学中的离群点视为可能的模式
  需已知或假定概率分布
  将Mclust函数返回列表中的uncertainty作为模式风险评分
• 从特征空间的距离角度-DB方法
  属性特征空间中，模式观测点通常远离正常观测点
  计算特征空间中两两观测点间的距离，若与观测x_p的距离大于阈值D的观测个数大于pN，（0<p<1，N为样本量），那么观测x_p可被视为模式观测。
  DB方法的两个可调参数：阈值D和比例p
  将风险评分定义为与观测x_p的距离大于阈值D的观测个数占总样本的比例
• 从特征空间的密度角度-LOF方法
  属性特征空间中，模式观测点所处区域的观测点密集程度，也称局部密度，远远稀疏于“正常”观测点所处的区域。
  局部离群因子法（LOF法）基于局部密度，在指定邻居个数MinPts的条件下，考察观测x_p其局部邻域的分离程度，作为观测x_p的模式风险评分。
  
  
  
  

4.模式甄别的有监督侦测方法(机器学习 详细讲)

​ 模式甄别的有监督侦测方法适用于数据集中有模式标签变量，且假定特征变量和标签变量间存在某种相关关系的情况。模式甄别的核心就是找到特征变量与标签变量取值间的规律性，并利用这种规律，预测新样本是否为模式预测。由于模式甄别涉及模式标签变量的取值，且在标签变量监督下进行，所以称为有监督侦测。
经典统计学方法：
朴素贝叶斯分类法
Logistic回归法

5.非平衡数据集的SMOTE处理

​ 非平衡数据集：指数据集中某一类或者某些类的样本量远远大于其它类，多数类称为正类，少数类称为负类。不平衡率是测度非平衡数据集不平衡程度的重要指标，它是正负两类样本量的比率。不平衡率越大，表明数据集的非平衡程度越严重。
解决非平衡数据集分类问题的方法：

• 基于数据层面的方法
• 基于算法层面的方法
  ​ 基于数据层面的方法，通过数据重抽样，改变非平衡数据集的分布，旨在提高后续分类模型的分类性能。数据重抽样一般有两种：
• 随机过抽样：随机复制负类样本，即对负类做多次有放回的随机抽样，达到增加少数类样本的目的。
• 随机欠抽样：随机去掉正类样本，即全抽负类样本，在此基础上抽取与之相当的正类样本，以降低数据的不平衡程度。
  ​ 数据重抽样的关键是既要消除大量噪声信息，显著减轻数据集的不平衡程度，又要尽量保证最少的信息损失，尽可能保留绝大多数对分类学习有用的样本观测点。由于随机过抽样和欠抽样方法自身存在局限性，故相关的改进算法较多。
  

6.模式甄别的半监督侦测方法

​ 仅依据较少的已知标签变量值，找到特征变量与标签变量取值间的规律性。利用这种规律对预测新样本是否为模式观测，是模式甄别半监督侦测的核心目标。
半监督分类：自训练分类模型

1. 视数据集D中的完整观测（输入变量和输出变量均已知）为一个数据子集，记为Di。
2. 基于Di建立一个分类模型，记为Mi。
3. 利用Mi对数据集中的其他观测进行预测。将预测置信度较高的前若干个观测合并到Di中。
   重复多次，Di包含的观测数量不断增多，Mi参数依Di不断调整，直到无法得到更大的Di。此时的Mi为最终的分类预测模型。

第5节

数据的网络分析

研究网络构成及网络成员间的相互影响，是揭示事物相关性的另一个独特视角。
网络分析的基础是网络的定义及表示，通常有两种相互联系的表示方式：图论表示方式、矩阵表示方式。

1.网络的图论定义

从图论角度看，网络由多个节点和节点间的连接（也称边）组成，是一种广义的图。
网络可记为G=(N,E) ，N表示节点集合，E表示节点间的连接。网络G中沿着连接在不同节点间的移动，称为游走。

• 依连接的方向性，网络分为无向网络和有向网络；
• 依连接的类型，网络分为无权网络和加权网络；
• 依节点类型，网络分为1-模网络和2-模网络。

无向网络

**无向网络：**网络中节点间的连接没有方向性。
**环：**在网络G中，若存在节点沿连接“一步”游走回自身，则称网络G存在环。如G1网络存在环。
多边：在网络G中，若一对节点被两个以上的连接相连，则称网络G存在多边。若在G1网络的节点A和B之间再添加一条连接，则G1网络就存在多边。
多重图&简单图：若网络G存在环或者多边，则称网络G为多重图。否则为简单图。网络的分析中，通常需将多重图简化为简单图后再研究。
节点n_i可达节点n_j：若从网络G中的节点n_i出发沿着连接游走可“抵达”节点n_j，称为节点n_i可达节点n_j。
连通&不连通：若从网络G中的任意节点n_i出发沿着连接游走可达网络中其他任意节点n_k，则称网络G 是连通的。如删除e3连接后的G1、G2、G4，均为联通的。反之，若无法游走到所有节点，则称网络G是不连通的。如G3。
回路：若从网络G的某个节点开始沿着连接游走，能够返回同一节点，则称该网络G存在回路。如G2网络存在回路
组件：对于网络G中的一个连通子网络G’=(N’,E’)，若将G’之外的属于G的任意节点加到网络G’中，网络G’就不再具有连通性，则称G’为网络G的一个组件。组件是一个最大的连通性子网络。如G3网络为不连通网络，包含3个组件
完备&非完备：若网络G中任意节点n_i和n_k间均存在一个连接e_j（直接相连），则称网络G是完备的，否则为非完备的。如G4网络为完备网络。可见，完备的网络具有连通性，也具有回路。

有向网络

有向网络：网络中节点间的连接有方向性。
如果用→表示连接的方向，→左边的节点称为尾节点，右边的节点称为头节点。
有向游走：有向图中的沿方向游走称为有向游走。
互惠关系：G6中e3：B→C，e4：C→B，这里并不视为多边，而认为B和C之间具有双向的互惠关系。

强连通：若从有向网络G中的任意节点ni出发沿有向连接ej游走，可“抵达”其他任意节点nk，则称有向网络G是强连通的。
弱连通：若从有向网络G中的任意节点ni出发，忽略连接的方向性做无向游走，并可“抵达”其他任意节点nk，则称有向网络G是弱连通的。
循环：若有向网络G中存在有方向的回路，则称网络G中存在循环。
有向不循环网络：若有向网络G中不存在有方向的回路，无论是否存在回路，有向网络G均称为有向不循环图网络。如G5网络、G7网络均为有向不循环网络。

无权网络和加权网络

无权网络：是在忽略网络中不同节点间关系强弱差异性的前提下，各节点连接有相同的连接强度的无向或有向网络
加权网络：是在不能忽略网络中不同节点间关系强弱差异性的前提下，各节点连接有不同的连接强度的无向或有向网络。
无权网络是一种特殊的加权网络。若两节点间存在连接，权重等于1；若两节点间不存在连接，权重等于0。无向加权网络分析是加权网络分析的重点。

1-模网络和2-模网络

模指网络中节点的类型。
1-模网络：若网络中所有节点均属于同一类型集合，该网络称为1-模网络。
2-模网络：若网络中节点分属两个不同的类型集合，该网络称为2-模网络。

G9网络中两类节点彼此之间均存在有向连接，是具有完备性的有向2-模网络。
G10网络是无向2-模网络，两类节点彼此间并非均存在连接。

2.网络的矩阵表示方式

网络数据文件的组织方式通常有三种：第一，邻接矩阵；第二，关系矩阵；第三，连接列表。

邻接矩阵

设网络包含N个节点。邻接矩阵Y是一个N×N的方阵，反映网络中各节点间的连接情况。
行号和列号为各节点的索引编码。

• 无向网络的邻接矩阵（对称阵）
  若节点i 和节点j之间存在连接，则令矩阵中第i行第j列上的元素y_ij=1；若节点i 和节点j之间不存在连接，则令矩阵元素y_ij=0。
• 有向矩阵的邻接矩阵（非对称阵）
  邻接矩阵Y的列号代表头节点索引编码，行号代表尾节点索引编码。若节点i和节点j之间存在有向连接，则令矩阵元素y_ij=1；若节点i和节点j之间不存在有向连接，则令矩阵元素y_ij=0。
• 加权网络的邻接矩阵
  若节点i 和节点j之间存在连接，则令矩阵中第i行第j列上的元素y_ij=权重；若节点i 和节点j之间不存在连接，则令矩阵元素y_ij=0。
• 可见，网络的邻接矩阵是加权网络的特例，是权重值只有1和0两个取值的加权邻接矩阵。

关系矩阵

关系矩阵也称隶属关系矩阵，用于反映2-模网络中各类节点间的连接情况。设2-模网络中第一类节点个数为N₁，第二类节点个数为节点N₂。关系矩阵B是一个N₁×N₂的矩阵，通常不是方阵。

• 无向2-模网络的关系矩阵
  无向2-模网络的关系矩阵B中，行、列分别为两类节点的索引编号。若第一类节点i 和第二类节点j之间存在连接，则令矩阵中第i行第j列上的元素b_ij=1；若节点i 和节点j之间不存在连接，则令矩阵元素b_ij=0。
• 有向2-模网络的关系矩阵
  有向2-模网络的关系矩阵B中，列号代表头节点索引编码，行号代表尾节点索引编码。若分属两类的节点i 和节点j之间存在有向连接，则令矩阵中第i行第j列上的元素b_ij=1；若节点i 和节点j之间不存在有向连接，则令矩阵元素b_ij=0。

连接列表

邻接矩阵以及关系矩阵通常具有高维稀疏性，更为简洁的描述网络的方式是连接列表。
设网络包含N_e个连接。

• 对于无权网络（包括无权2-模网络）
  连接列表是N_eX2的数据框C。其中一行代表一个连接。无向网络中数据框C的两列分别为连接的两个节点，有向网络中第1列为尾节点，第2列为头节点。
• 对于加权网络（包括加权2-模网络）
  连接列表是N_eX3的数据框C，行和前两列的含义同前，只是第3列为连接权重。

3.网络节点重要性的测度

节点重要性测度是网络基本分析的第一个层次，目的是刻画节点个体与其他节点有怎样“强度”的关系，发现网络中的重要节点。
节点在网络中的重要性一般表现：
第一，它是网络一个“局部范围”内的“中心”；
第二，它是一个具有强连接的“枢纽”。
节点“中心”和“枢纽”作用的度量涉及两个基本测度：

• 度
• 测地线距离

度

节点n_i的度：指节点n_i有多少个与其直接连接的邻居节点。

• 无向网络：度
  
• 有向网络：入度、出度、度（入度+出度）
  
• 加权网络
  节点度的定义同无向网络。
  不同点在于，加权网络邻接矩阵Y中的元素均为权重，所以这里节点n_i的度是个加权的度。

第6节

测地线距离

最短路径的距离，称为节点ni和nj间的测地线距离，记为d(n_i,n_j)。（最短路径：其中距离最短者）

• 节点ni和nj间可能存在多条不同的最短路径
• 有向网络需依方向游走，根据带方向的最短路径计算
• 测地线距离可基于邻接矩阵计算得到
  若网络G具有连通性，网络中所有节点对测地线距离中的最大值，称为网络G的直径

点度中心度：节点“中心”作用的测度

节点ni的点度中心度：为标准化度，度d(ni)**与其最大可能度数之比

• 无向网络：
• 有向网络：
  点度中心度等于0：节点ni是个“孤立”点，不与其他任何节点相连，不可能是“局部范围”内的连接“中心”，重要性很低。
  节点ni的点度中心度越大说明节点ni越重要。

接近中心度：节点“中心”作用的测度

接近中心度从距离角度，依据测地线距离度量节点“中心”作用的强弱。
节点ni的接近中心度：
接近中心度越大，说明节点ni与所有其他节点的测地线距离之和越小，越可能成为几何意义上的中心，节点ni越重要
注：接近中心度仅适用于具有连通性的无向网络和强连通性的有向网络

中间中心度：节点“枢纽”作用的测度

直观上，若节点ni是网络的连接“枢纽”，则一定有很多“线路”经过ni。可依“路线”的多少测度节点“枢纽”作用的高低

结构洞

一个系统（网络）中，若某个成员（节点）退出系统，使得局部系统中的其他成员（节点）间不再有任何联系（连接）。从结构上看就像局部网络中出现了一个关系断裂的“洞穴”，该成员称为一个结构洞。

关节点（切割点）

关节点是那些若剔除网络将导致网络的组件数大大增加的节点。关节点不存在，网络将变成两个或多个互不连接的独立子网络或单个“孤立”节点。关节点在构成组件中起到了一个“中枢”作用。

特征向量中心度

如果节点ni较为重要，则节点ni应与其他重要节点有较多的连接。

PageRank得分

PageRank得分是S. Brin和L. Page于1998年提出的度量网络节点重要性的测度得分，也称PageRank算法，是Google搜索算法的基础。

4.网络子群构成特征研究

子群分析是网络分析的第二个层次。它将研究范围从单个节点拓展到某些覆盖多个节点的局部区域。这些局部区域中节点间的关系更为密切或更特殊，成为相对独立的小群体，也称子群。
子群类型：

• 二元关系，三元关系
• 派系
• k-核
  子群分析的主要目标是基于子群类型，找到网络中包含的各种子群和数量，并借助子群特点和所体现的局部关系，细致刻画网络的结构组成特征。

二元关系

二元关系：通常针对有向网络而言，是有向网络中仅涉及两个节点的最小子群。
节点ni和nj间的二元关系有三种状态
第一，y_ij=y_ji=1 ,表示节点ni和nj间存在双向互惠关系；
第二，y_ij=1且y_ji=0（或y_ij=0且y_ji=1），表示节点ni和nj间存在单向依存的不对称关系；
第三，y_ij=y_ji=0，表示节点ni和nj间不存在关系。
网络中各种二元关系状态的数量称为二元关系普查量。

三元关系

三元关系：体现了关系的传递性（第6种）和循环性（第10种）。

派系

若网络G中的一个组件G’是完备的，且不被其他的完备组件所包含，则称G’为网络G的一个派系。
派系是一个局部意义上的最大完备子网络。

k-核

若G’是网络G的一个最大连通性子图，且G’中的每个节点均至少与其他k个节点直接连接，即G’中每个节点的度均大于等于k，则称G’是网络G的一个k-核。
如果包含k+1个节点的k-核中，每个节点的度均等于k，则该k-核为一个派系。
节点ni的核等于m如果它属于m-核但不属于(m＋1)-核。只要节点ni不是“孤立”点，它至少是一个1-核成员，也可能属于更大的核。

社区

社区也称模块：是一个子网络，特点是子网络内部各结点的连接相对紧密，子网络之间的连接相对稀疏。
社区结构划分算法：

• 基于划分的方法
• 模块度方法
• 随机游走方法
• 密度子图方法
  
  
  
  

组件

组件作为最大连通性子网络，其凝聚程度可能低于派系等，但因“对外”没有连接而具有强独立性