qq_36926037的博客

1 基本概念  结构模式识别： 以结构基元为基础，利用模式的结构信息完成分类的过程，称为结构模式识别。  基元： 构成模式结构信息的基本单元，本身不包含有意义的结构信息。  结构特征的表达：  （1）串表达：是把任意结构，用基元彼此连接形成一个序列进行描述。一维的；  （2）图表达：把模式的结构看成基元之间的相互连接，基元作为节点，基元与基元之间的链接作为边，模式结构就可以用一个图来表达。图表达能力比串更强（图论），图的缺陷是两个图之间的相似性度量无论从定义上还是从算法上、工程实现上都是一个困难

神经网络1 人工神经元1.1 人工神经元模型1.2 激活函数类型2 人工神经元网络2.1 神经网络类型2.1.1 前馈型神经网络2.1.2 反馈型神经网络2.2人工神经元网络特点2.3 神经网络举例2.3.1 多层感知机网络2.3.2 BP网络2.3.3 深度神经网络2.3.3.1 深度信念网络2.3.3.1 卷积神经网络1 人工神经元1.1 人工神经元模型1.2 激活函数类型2 人工神经元网络2.1 神经网络类型2.1.1 前馈型神经网络  信息总是从前一层神经元单向传入下一层神经元

1 概述  组合分类器（集成学习）：多个弱分类器共同组成一个强分类器。  设计要求：  （1）每个基分类器（弱分类器）的分类正确率要大于50%  （2）每个基分类器的训练集和训练结果要有差异  （3）基分类器的数量不是越多越好  （4）方差和偏差是组合分类器重点考虑的两项指标  组合分类器的主要类型：  （1）Bagging方法： 通过准备独立且同分布的一组训练子集来并行训练多个基分类器，再进行分类器组合。  由于各个样本子集是相互独立且同分布，因此可以并行对各个弱分类器进行训练；算法基

聚类1 基础知识2 聚类算法2.1 试探法聚类2.2 层次聚类（局部最优聚类）2.2.1 层次聚类的融合方法2.2.1 层次聚类的分解方法2.3 迭代/动态聚类2.3.1 k-means算法2.3.2 迭代自组织数据分析算法1 基础知识  定义：  聚类特点：  （1）聚类是对整个样本集的划分，而不是对单个样本的识别  （2）聚类的依据是样本间的相似程度；  （3）聚类结果是无遗漏无重复的  （4）典型的无监督学习：无预先分好类的样本集，没有一直的分类决策规则，由待分类样本特征的内在规律来驱

特征降维1 概述2 主成分分析PCA3 特征提取算法4 特征选择1 概述  特征降维：  不仅大大降低模式识别任务的计算复杂度，还可能提升分类的准确度，使我们能够用最小的代价设计出优秀的模式识别系统  特征降维方法：  （1）主成分分析PCA  （2）特征提取  （3）特征选择2 主成分分析PCA  思路： 对样本整体进行的降维操作，最早来源于统计学，希望在统计样本中，找到影响结果的那些最关键的变量  核心思想： 认为样本集在各个不同的方向上进行投影，其方差是不同的，方差越大的方向，包

最近邻分类器1 最近邻分类器2 k近邻分类器1 最近邻分类器  原理：  最近邻分类器的错误率：2 k近邻分类器  K近邻分类器： 最近邻算法简单，但是结果受到随机干扰的影响，处理随机干扰的一个基本方法是，采用随机滤波，既多采样几个数据，使得随机误差能够得到一定程度上的抵消，这种方式，最近邻分类器扩展为k近邻分类器。（从训练集样本中找出待识别样本的K个最近邻，然后依据这k个最近邻分别所属的类别来决定将待识别样本划分到那个类别中）  原理：  缺陷：  （1）计算量过大：计算待分类样本到

1 前沿知识  推理：是从已知的条件出发，退出某个结论的过程  推理：  （1）确定性推理  （2）概率推理（不确定推理）,条件概率是从大量实践中得来的。是一种经验数据的总结。  贝叶斯公式：  贝叶斯公式给出了，根据出现的先验概率和类条件概率，计算一个结果出现时导致这个结果的各个原因、各个条件存在的概率，实现逆概率推理的过程。（既通过每个类别的先验概率，和每个类别中出现某种特征的类条件概率，来计算具有某种特征值的样本，属于某一类的后验概率）  贝叶斯分类原理：  如果把样本真实所属的类

线性分类器1 线性判别和广义线性判别1.1 线性判别1.2 广义线性判别2 二分类、多分类线性判别2.1 二分类线性判别2.2 多分类线性判别3 线性判别函数的几何意义4 线性分类器训练的一般思路6 线性分类器举例6.1 感知机6.1.1 概述6.1.2 原理6.1.3 求解目标（代价函数）及方法6.1.4 感知机缺陷6.2 LMSE算法6.2.1 概述6.3 支持向量机6.3.1 引言6.3.2 SVM原理6.3.3 SVM特点6.3.4 经验风险最小化vs结构风险最小化6.3.5 线性不可分时的SVM

模板匹配1 相关知识1 相关知识  起源：  历史最悠久的模式识别算法，在计算机出现之前就已经开始使用，1929年，阅读机  基本原理：  为每个类别建立一个或多个标准模板，分类决策时，将待识别的样本与每个类别的模板进行比对，根据与模板的匹配程度将样本划分到最相似的类别中。  特点：  直接、简单，在类别特征稳定、明显，类间差距大时可以使用。但在建立模板的时候需要人的经验和观察，适应能力差。  利用模板匹配实现手写数字识别：  首先给每个类别确定一个模板，然后根据待识别样本与模板之间的相

模式识别算法体系  模式识别算法体分为两大类：  （1）统计模式识别（主流）  将样本转化为多维特征空间中的点，再根据样本的特征取值情况和样本集的特征值分布情况，确定分类决策规则  1）线性分类器：最基本的统计分类器通过寻找线性决策分类边界实现特征空间中的类别划分。（感知机，LMSE算法，支持向量机）  2）贝叶斯分类器：基于不同类样本在特征空间中的概率分布，以逆概率推理的贝叶斯公式，来得到类别划分的结果。（最小错误率，最小风险，朴素贝叶斯）  3）最近邻分类器：把学习过程隐藏到分类决策中，通过

概述1.模式识别概述2 特征与特征空间3 有监督学习无监督学习4 紧致性与维度灾难4.1 紧致性4.2 相似度度量4.3 特征维度4.4 泛化能力与过拟合4.5 模式识别系统1.模式识别概述  什么是人工智能？  人工智能，包括感知、决策和行动能力；  模式识别解决人工智能的感知问题，已有近百年的发展历史。  模式识别的产生和发展？  1.1929年，光电阅读机，让机器具有识别能力的首次尝试，采用方法为模板匹配，第一个被实际应用的模式识别算法；  2.1936年，线性判断分析，基于统计分布和，