五 分类：其他技术3

5.2 最近邻分类器

5.2.1 算法

K-最最近邻分类算法

得到最近邻列表，测试样例根据最近邻中的多数类进行分类：

为了降低算法对于k值的敏感度，使用距离加权表决：

5.2.2 最近邻分类器的特征

局部分类决策；不需要建立模型；任意形状的决策边界

5.3 贝叶斯分类器

对属性集和类变量的概率关系建模的方法

5.3.1 贝叶斯定理

5.3.2 贝叶斯定理在分类中的应用

5.3.3 朴素贝叶斯分类器

1.条件独立性
2.朴素贝叶斯分类器如何工作

3.估计分类属性的条件概率
训练实例的比例
4.估计连续属性的条件概率
（1）：离散化，离散区间替换连续属性值
（2）：假设连续变量服从某种概率
5.朴素贝叶斯分类器举例
6.条件概率的m估计
一个属性的条件概率等于0导致整个类后验概率等于0
使用m估计来估计条件概率：

7.朴素贝叶斯分类器的特征
处理孤立的噪声点，处理无关属性，不能处理相关属性（条件独立假设）

5.3.4 贝叶斯误差率

没看懂

5.3.5 贝叶斯信念网络（BBN）

条件非独立
1.模型表示
贝叶斯网络两个主要成分：有向无环图表示变量之间的依赖关系；概率表，把节点和父节点关联起来
性质1：贝叶斯网络中的一个结点，如果它的 父母结点已知，则它条件独立于它的所有非后代结点。
2.建立模型
（1）创建网络结构
（2）估计每一个结点的概率表中的概率值

3.使用BBN进行推理举例
4.BNN的特点：图形模型；构造网络；处理不完整数据；