firemonkeycs的专栏

前序文章：机器学习笔记—模式分类（一）绪论&贝叶斯决策论机器学习笔记—模式分类（二）参数判别估计法（最大似然估计和贝叶斯参数估计）1机器学习笔记—模式分类（三）参数判别估计法2（最大似然估计）机器学习笔记—模式分类（四）参数判别估计法3（贝叶斯参数估计）机器学习笔记—模式分类（五）参数判别估计法4（充分统计量、维数、特征线性组合、特征缺失）六、七、八同类文章：暂无7、模糊分类—不精确知识分类器设计 有时我们对一个问题只有一些不精确的知识如某类...

下面我们将看到即使我们只依赖某个x的单一的最近邻来作估计也能够达到足够好的性能，即最近邻规则和k近邻规则。5、最近邻规则 对于测试样本点x，在样本集合Dn中距离它最近的样本点记为x’，那么最近邻规则的分类方法就是把点x分为x’所属的类别，最近邻规则是次优的方法，通常误差率比最小可能误差率（即贝叶斯误差率）要大，然而在无限训练样本情况下这个误差率不会超过贝叶斯误差率的两倍。 感性地理解，注意赋予最近邻点的标记θ’是一个随机变量，θ...

前序文章：机器学习笔记—模式分类（一）绪论&贝叶斯决策论机器学习笔记—模式分类（二）参数判别估计法（最大似然估计和贝叶斯参数估计）1机器学习笔记—模式分类（三）参数判别估计法2（最大似然估计）机器学习笔记—模式分类（四）参数判别估计法3（贝叶斯参数估计）机器学习笔记—模式分类（五）参数判别估计法4（充分统计量、维数、特征线性组合、特征缺失）六同类文章：暂无1、引言 在参数估计判别方法（贝叶斯）中，我们总是假设概率密度函数的参数形式已知，并在此...

前序文章：机器学习笔记—模式分类（一）绪论&贝叶斯决策论机器学习笔记—模式分类（二）参数判别估计法（最大似然估计和贝叶斯参数估计）1机器学习笔记—模式分类（三）参数判别估计法2（最大似然估计）机器学习笔记—模式分类（四）参数判别估计法3（贝叶斯参数估计）机器学习笔记—模式分类（五）参数判别估计法4（充分统计量、维数、特征线性组合、特征缺失）同类文章：暂无10、隐马尔可夫模型参数估计判别方法（贝叶斯）中，我们所处理的问题都是估计类条件概率密度p...

前序文章：机器学习笔记—模式分类（一）绪论&贝叶斯决策论机器学习笔记—模式分类（二）参数判别估计法（最大似然估计和贝叶斯参数估计）1机器学习笔记—模式分类（三）参数判别估计法2（最大似然估计）机器学习笔记—模式分类（四）参数判别估计法3（贝叶斯参数估计）​​​​​​​同类文章：机器学习笔记—模式识别与智能计算（四）基于概率统计的贝叶斯分类器设计（贝叶斯决策）6、充分统计量我们把任何关于样本集D的函数都称为一个统计量。一个充分统计量就是一个关于样本集D的函数s.

前序文章：机器学习笔记—模式分类（一）绪论&贝叶斯决策论机器学习笔记—模式分类（二）参数判别估计法（最大似然估计和贝叶斯参数估计）1机器学习笔记—模式分类（三）参数判别估计法2（最大似然估计）同类文章：机器学习笔记—模式识别与智能计算（四）基于概率统计的贝叶斯分类器设计（贝叶斯决策）3.3、贝叶斯估计 在最大似然估计方法中，把需要估计的参数向量θ看作是一个确定而未知的参数；而在贝叶斯学习方法中，把参数向量θ看成一个随机变量，已有的训练样本使我们能够把对于...

系列文章：机器学习笔记—模式识别与智能计算（一）模式识别概述机器学习笔记—模式识别与智能计算（二）特征的选择与优化机器学习笔记—模式识别与智能计算（三）模式相似性测度同类文章：机器学习笔记—模式分类（一）贝叶斯决策论机器学习笔记—模式分类（二）参数判别估计法（最大似然估计和贝叶斯参数估计）11、贝叶斯决策基本概念分类器参数的选择或学习过程得到的结果取决于设计者选择什么样的准则函数，不同准则函数的最优解对应不同的学习结果，得到性能不同的分类器。分类的可能性可用P(w1.

系列文章：机器学习笔记—模式识别与智能计算（一）模式识别概述机器学习笔记—模式识别与智能计算（二）特征的选择与优化同类文章：暂无1、模式相似性测度 模式识别最基本的研究问题样本与样本之间或类与类之间的相似性测度问题，判断样本之间的相似性常用近邻准则，原理上属于模板匹配，即将待分类样本与标准模板进行比较，看跟哪个模板匹配程度更好从而确定待测样本分类。 按照近邻准则进行分类通常有两种计算方法：a.样本测度—待分类样本与所有训练样本做特征相似性测度...

1、特征空间优化设计问题 特征选择和优化的基本任务是从许多特征中找出那些最有效的特征，对现有特征进行评估并通过现有特征产生更好的特征。主要过程如下：（1）样本特征库初步分析 对原始数据抽取对区别不同类别最为重要的特征，舍去对分类并无多大贡献的特征（2）样本筛选处理 去除离群点/噪声点，减少离群点/噪声点对分类器的干扰（3）特征筛选处理 分析相关性，考察每个特征因子与目标有无关系、特征因子之间是否相关，去除相关的特征因...

1、模式识别的基本概念 模式识别是信号处理与人工智能的重要分支，人工智能是专门研究用机器人模拟人的动作、感觉和思维过程与规律的科学，模式识别是利用计算机专门对物理量及其变化过程进行描述与分类。 模式是供模仿用的完美无缺的标本/样本，模式是通过对具体的个别事物进行观察所得到的具有时间和空间分布的信息，而模式类是指模式所属的类别或同一类别中模式的总体。（1）模式的描述方法 测量空间：测量样本后获取的原始数据构成的空间 模式：样本...

利用Tensorflow演示基于最小均差误差的线性判别函数参数拟合训练，可以作为Tensorflow卷积神经网络入门前的基础练习，练习Tensorflow的基本使用方法和模型训练的基本过程，希望对你有所帮助！待拟合的线性判别函数形式为： y=w*x+b其中x为二维向量输入——通过np.random.rand()函数生成100条输入数据初始值w为待拟合的权值参数向量——目标值为[0.1,...

前序文章：机器学习笔记—模式分类（一）绪论&贝叶斯决策论机器学习笔记—模式分类（二）参数判别估计法（最大似然估计和贝叶斯参数估计）11、最大似然估计的假设：（1）假设对于c类样本集，其中任意一类样本集Di中的样本都是独立的根据类条件概率密度p(x|wj)来抽取的，因此每类样本集Di中的样本都是独立同分布的随机变量；（2）假设每一个类条件概率密度p(x|wj)的形式都是已知的，其未知的部分就是具体的参数向量θj的值；为强调类条件概率密度p(x|wj)依赖于参数向量θj，通常把.

我们已经知道了如何根据先验概率P(w1)和类条件概率密度p(x|wi)来设计分类器，但实际应用中通常得不到有关问题的概率结构的全部知识，只有一些模糊而笼统的先验知识和训练样本。这时我们利用训练样本来估计问题中设计的先验概率和类条件概率密度，并把这些估计的结果当作实际的先验概率和类条件概率密度，然后再设计分类器。在典型的有监督模式识别中，估计先验概率没有太大困难，最大困难在于估计类条件概率密度，其主要原因：（1）很多情况下的已有训练样本数总是显得太少（2）当用于表示特征的向量x的维数较大时，会产生严重的计

典型的模式分类系统包括传感器、分割器（将物体与背景及其他物体分隔开来）、特征提取器、分类器和后处理器；分割涉及“子集和超集”问题，是“组织结构学”的研究内容，是研究部分与整体关系的一个学科领域。1、贝叶斯决策论的出发点是利用概率的不同分类决策与相应的决策代价之间的定量折中，其前提假设为决策问题可以用概率的形式描述并且所有有关的概率结果已知；后续还将考虑概率结构不完全知道的情况。2、贝叶斯公式中，对于连续特征，使用条件概率（类条件概率密度函数，或似然函数）和标量p(x)均使用概率密度函数p；对于离散特