模式识别与机器学习
文章平均质量分 93
Herbert_Zero
这个作者很懒,什么都没留下…
展开
-
在MATLAB中实现Bayes分类器
Bayes分类器的分类原理是通过某对象的先验概率,利用Bayes公式计算出其后验概率,即该对象属于某一类的概率,选择具有最大后验概率的类作为该对象所属的类。也就是说,Bayes分类器是最小错误率意义上的优化,它遵循“多数占优”这一基本原则。这里使用MATLAB简单实现Bayes分类器。原创 2015-03-19 20:23:19 · 9932 阅读 · 1 评论 -
《机器学习实战》学习笔记:k-近邻算法的两个应用场景
之前学习了k-近邻算法的实现后,参考《机器学习实战》中的例子进行了k-近邻算法的测验,主要测试了针对约会网站和手写识别系统的数据分类,这两个测试使用的是《机器学习实战》提供的数据集。原创 2015-09-01 23:05:27 · 14318 阅读 · 6 评论 -
《机器学习实战》学习笔记:决策树的实现
决策树是个极其易懂的算法,也是最常用的数据挖掘算法,决策树允许机器根据数据集创造规则,其实这就是机器学习的过程。专家系统中经常会使用到决策树及其变种,而且决策树给出的结果往往可以匹敌在当前领域具有几十年工作经验的专家。优点:决策树的计算复杂度不高,输出结果易于理解,对中间值的缺失不敏感,可以处理不相关特征数据;缺点:可能会产生过度匹配的问题;适用数据类型:数值型和标称型。原创 2015-09-02 23:41:54 · 2691 阅读 · 0 评论 -
《机器学习实战》学习笔记:k-近邻算法实现
机器学习:k-近邻(kNN)算法的基本原理与Python实现原创 2015-08-30 00:10:35 · 4377 阅读 · 5 评论 -
《机器学习实战》学习笔记:绘制树形图&使用决策树预测隐形眼镜类型
上一节实现了决策树,但只是使用包含树结构信息的嵌套字典来实现,其表示形式较难理解,显然,绘制直观的二叉树图是十分必要的。Python没有提供自带的绘制树工具,需要自己编写函数,结合Matplotlib库创建自己的树形图。第二部分,使用决策树预测患者佩戴隐形眼镜的类型。原创 2015-09-06 17:04:34 · 5491 阅读 · 2 评论 -
《机器学习实战》学习笔记:基于朴素贝叶斯的分类方法
概率是许多机器学习算法的基础,在前面生成决策树的过程中使用了一小部分关于概率的知识,即统计特征在数据集中取某个特定值的次数,然后除以数据集的实例总数,得到特征取该值的概率。原创 2015-09-12 00:02:32 · 8504 阅读 · 9 评论 -
《机器学习实战》学习笔记:支持向量机
支持向量机,就是通过最大化支持向量到分类超平面之间的分类间隔。分类超平面就是我们想要得到的决策曲面;支持向量就是离分类超平面最近的点,而间隔即为支持向量到分类超平面的距离。原创 2015-10-01 23:59:09 · 3830 阅读 · 0 评论 -
《机器学习实战》学习笔记:利用Adaboost元算法提高分类性能
Adaboost是一种迭代算法,其核心思想是针对同一个训练集训练不同的分类器,即弱分类器,然后把这些弱分类器集合起来,构造一个更强的最终分类器,比起弱分类器,这个“强”分类器的错误率会低很多。原创 2015-10-08 22:30:23 · 4191 阅读 · 2 评论 -
《机器学习实战》学习笔记:Logistic回归&预测疝气病证的死亡率
生活中,人们经常会遇到各种最优化问题,比如如何在最短时间从一个地点到另外一个地点?如何在投入最少的资金而却能得到最高的受益?如何设计一款芯片使其功耗最低而性能最好?这一节就要学习一种最优化算法——Logistic回归...原创 2015-09-20 19:13:33 · 5815 阅读 · 0 评论 -
《机器学习实战》学习笔记:基于朴素贝叶斯的垃圾邮件过滤
概率是许多机器学习算法的基础,在前面生成决策树的过程中使用了一小部分关于概率的知识,即统计特征在数据集中取某个特定值的次数,然后除以数据集的实例总数,得到特征取该值的概率。之前的基础实验中简单实现了朴素贝叶斯分类器,并正确执行了文本分类,这一节将贝叶斯运用到实际场景,垃圾邮件过滤这一实际应用。原创 2015-09-15 09:59:28 · 14900 阅读 · 3 评论 -
模式识别:k-均值聚类算法的研究与实现
本实验的目的是学习和掌握k-均值聚类算法。k-均值算法是一种经典的无监督聚类和学习算法,它属于迭代优化算法的范畴。本实验在MATLAB平台上,编程实现了k-均值聚类算法,并使用20组三维数据进行测试,比较分类结果。实验中初始聚类中心由人为设定,以便于实验结果的比较与分析。原创 2015-06-10 20:41:20 · 13805 阅读 · 1 评论 -
模式识别:模拟退火算法的设计与实现
本节的目的是记录以下学习和掌握模拟退火(Simulated Annealing,简称SA算法)过程。模拟退火算法是一种通用概率算法,用来在一个大的搜寻空间内寻找命题的最优解。这里分别使用随机模拟退火算法和确定性模拟退火算法,在MATLAB平台上进行编程,以寻找一个6-单元全连接网络的能量最小化模型。原创 2015-06-05 02:18:06 · 14948 阅读 · 17 评论 -
模式识别:分类回归决策树CART的研究与实现
本实验的目的是学习和掌握分类回归树(CART)算法。CART提供一种通用的树生长框架,它可以实例化为各种各样不同的判定树。CART算法采用一种二分递归分割的技术,将当前的样本集分为两个子样本集,使得生成的决策树的每个非叶子节点都有两个分支。因此,CART算法生成的决策树是结构简洁的二叉树。在MATLAB平台上编写程序,实现了非剪枝完全二叉树的创建、应用以及近似剪枝操作。原创 2015-06-19 19:50:48 · 8844 阅读 · 1 评论 -
MATLAB实现贝叶斯分类器
贝叶斯分类器的分类原理是通过某对象的先验概率,利用贝叶斯公式计算出其后验概率,即该对象属于某一类的概率,选择具有最大后验概率的类作为该对象所属的类。也就是说,贝叶斯分类器是最小错误率意义上的优化,它遵循“多数占优”这一基本原则。原创 2015-03-30 17:27:08 · 54152 阅读 · 13 评论 -
模式识别:最大似然估计与贝叶斯估计方法
之前学习了贝叶斯分类器的构造和使用,其中核心的部分是得到事件的先验概率并计算出后验概率 ,而事实上在实际使用中,很多时候无法得到这些完整的信息,因此我们需要使用另外一个重要的工具——参数估计。参数估计是在已知系统模型结构时,用系统的输入和输出数据计算系统模型参数的过程。原创 2015-04-06 10:25:22 · 15930 阅读 · 1 评论 -
模式识别:利用MATLAB生成模式类
在开始模式识别的学习之前,需要对模式和模式类的概念有一个了解,这里使用MATLAB实现一些模式类的生成。原创 2015-03-13 23:54:42 · 8433 阅读 · 1 评论 -
模式识别:PCA主分量分析与Fisher线性判别分析
本实验的目的是学习和掌握PCA主分量分析方法和Fisher线性判别方法。首先了解PCA主分量分析方法的基本概念,理解利用PCA 分析可以对数据集合在特征空间进行平移和旋转。实验的第二部分是学习和掌握Fisher线性判别方法。了解Fisher线性判别方法找的最优方向与非最优方向的差异,将高维分布的数据进行降维,并通过Fisher线性判别方法实现高维数据在一维中分类。原创 2015-04-23 19:02:03 · 17552 阅读 · 5 评论 -
模式识别:非参数估计法之Parzen窗估计和k最近邻估计
本实验的目的是学习Parzen窗估计和k最近邻估计方法。在之前的模式识别研究中,我们假设概率密度函数的参数形式已知,即判别函数J(.)的参数是已知的。本节使用非参数化的方法来处理任意形式的概率分布而不必事先考虑概率密度的参数形式。在模式识别中有躲在令人感兴趣的非参数化方法,Parzen窗估计和k最近邻估计就是两种经典的估计法。这里使用Matlab实现这两种估计方法。原创 2015-04-25 21:22:18 · 35273 阅读 · 1 评论 -
模式识别:感知器的实现
在之前的模式识别研究中,判别函数J(.)的参数是已知的,即假设概率密度函数的参数形式已知。本节不考虑概率密度函数的确切形式,使用非参数化的方法来求解判别函数。由于线性判别函数具有许多优良的特性,因此这里我们只考虑以下形式的判别函数:它们或者是x的各个分量的线性函数,或者是关于以x为自变量的某些函数的线性函数。原创 2015-04-23 09:40:03 · 27727 阅读 · 11 评论 -
OpenCV+Qt:基于PCA主成分分析的人脸识别例程
在模式识别领域中,PCA是一种常用的数据集降维手段,在此基础上,保留数据集中对方差贡献最大的特征从而进行模式分类。OpenCV中提供PCA的类,因此可以方便地使用PCA来进行人脸识别研究。在学习了网上的相关实现和代码,在以下开发平台跑通了代码:win8.1+OpenCV2.4.9+Qt5.3.2。原创 2015-05-01 14:50:34 · 7225 阅读 · 0 评论 -
模式识别:三层BP神经网络的设计与实现
本文的目的是学习和掌握BP神经网络的原理及其学习算法。在MATLAB平台上编程构造一个3-3-1型的singmoid人工神经网络,并使用随机反向传播算法和成批反向传播算法来训练这个网络,这里设置不同的初始权值,研究算法的学习曲线和训练误差。原创 2015-05-29 01:49:20 · 55216 阅读 · 8 评论 -
基于SVM与人工神经网络的车牌识别系统
最近研究了支持向量机(Support Vector Machine,SVM)和人工神经网络(Artifical Neural Network,ANN)等模式识别理论,结合一些书籍和网上的资料,将两种思想运用到车辆的车牌识别算法中。车辆识别结合了多种图像处理技术,如视频监控、图像检测、图像分割和光学字符识别。原创 2015-05-22 17:04:13 · 26921 阅读 · 46 评论 -
模式识别:分类器的性能评价
最近开始了模式识别的学习,对模式和模式类的概念有一个基本的了解,并使用MATLAB实现一些模式类的生成。而接下来如何对这些模式进行分类成为了学习的第二个重点。我们都知道,一个典型的模式识别系统是由特征提取和模式分类两个阶段组成的,而其中模式分类器(Classifier)的性能直接影响整个识别系统的性能。 因此有必要探讨一下如何评价分类器的性能,这是一个长期探索的过程。原创 2015-03-24 23:55:28 · 15672 阅读 · 2 评论