![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
模式识别课程算法
文章平均质量分 84
沈子恒
计算机视觉 自然语言处理 推荐系统 架构设计
展开
-
主成分分析的数学原理
PCA(Principal Component Analysis)是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示,可用于提取数据的主要特征分量,常用于高维数据的降维。网上关于PCA的文章有很多,但是大多数只描述了PCA的分析过程,而没有讲述其中的原理。这篇文章的目的是介绍PCA的基本数学原理。1.数据的向量表示以及降维问题一般情况下,在数据挖掘和机原创 2017-03-05 00:21:50 · 4461 阅读 · 2 评论 -
子空间模式识别
1.Jason Gu说说我理解的子空间学习。子空间学习大意是指通过投影,实现高维特征向低维空间的映射,是一种经典的降维思想。例如人脸图像,如果每幅图像提取出来的特征是1000维,则每幅图像对应着1000维空间中的一个点。维数太高给计算带来很多问题,且很多人认为真实有效的人脸图像特征并没有那么高维,可能只有100维,即每幅人脸只是100维空间中的一个点。将特征从1000维压缩到100维,原创 2017-06-21 11:30:11 · 9613 阅读 · 0 评论 -
matlab中的分类器使用小结(SVM、KNN、RF、AdaBoost、Naive Bayes、DAC)
1.前言目前了解到的MATLAB分类器有:K近邻,随机森林,朴素贝叶斯,集成学习方法,鉴别分析,支持向量机。现将其主要函数使用方法总结如下,更多细节需参考MATLAB 帮助文件。设:训练样本:train_data % 矩阵,每行一个样本,每列一个特征训练样本标签:train_label % 列向量测试样本:test_data测试样本标签原创 2017-05-21 17:35:16 · 20165 阅读 · 28 评论 -
RF(随机森林)算法原理及其派生算法
1.前言集成学习有两个流派,一个是boosting派系,它的特点是各个弱学习器之间有依赖关系。另一种是bagging流派,它的特点是各个弱学习器之间没有依赖关系,可以并行拟合。本文就对集成学习中Bagging与随机森林算法做一个总结。随机森林是集成学习中可以和梯度提升树GBDT分庭抗礼的算法,尤其是它可以很方便的并行训练,在如今大数据大样本的的时代很有诱惑力。2.bag原创 2017-05-20 22:03:35 · 25087 阅读 · 1 评论 -
LBP(局部二值模式)特征提取原理
1.前言 LBP(Local Binary Pattern,局部二值模式)是一种用来描述图像局部纹理特征的算子;它具有旋转不变性和灰度不变性等显著的优点。它是首先由T. Ojala, M.Pietikäinen, 和 D. Harwood 在1994年提出,用于纹理特征提取。而且,提取的特征是图像的局部的纹理特征;2.LBP特征描述原始的LBP算子定义为在3*3的窗原创 2017-05-20 17:33:38 · 30846 阅读 · 4 评论 -
HOG特征提取原理
1.HOG特征前言方向梯度直方图(Histogram of Oriented Gradient, HOG)特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。它通过计算和统计图像局部区域的梯度方向直方图来构成特征。Hog特征结合SVM分类器已经被广泛应用于图像识别中,尤其在行人检测中获得了极大的成功。需要提醒的是,HOG+SVM进行行人检测的方法是法国研究人员Dalal在2005的原创 2017-05-20 17:13:49 · 17008 阅读 · 2 评论 -
SURF(Speeded Up Robust Features)算法原理
1.前言与预备知识1.1前言Surf算法是对Sift算法的一种改进,主要是在算法的执行效率上,比Sift算法来讲运行更快!由于我也是初学者,刚刚才开始研究这个算法,然而网上对于Surf算法的资料又尤为极少,稍微介绍的明白一点的还是英文。所以在此想借这个机会把我所理解的部分介绍一下,对于后面准备学习Surf算法的朋友来说,希望有一点点的帮助!1.2预备知识积分图像原创 2017-05-20 16:36:09 · 15564 阅读 · 3 评论 -
Adaboost(自适应提升树)算法原理
1.Adaboost概述Adaboost的前身的Boosting算法。Boosting是一种提高任意给定学习算法准确度的方法。它的思想起源于Valiant提出的PAC(Probably Approximately Correct)学习模型。Valiant和Kearns提出了弱学习和强学习的概念,识别错误率小于1/2,也即准确率仅比随机猜测略高的学习算法称为弱学习算法;识别准确率很高并能原创 2017-05-14 09:43:19 · 3469 阅读 · 0 评论 -
KNN(K-Nearest Neighbor)分类算法原理
1.什么是看KNN算法?最简单最初级的分类器是将全部的训练数据所对应的类别都记录下来,当测试对象的属性和某个训练对象的属性完全匹配时,便可以对其进行分类。但是怎么可能所有测试对象都会找到与之完全匹配的训练对象呢,其次就是存在一个测试对象同时与多个训练对象匹配,导致一个训练对象被分到了多个类的问题,基于这些问题呢,就产生了KNN。KNN是通过测量不同特征值之间的距离进行分类。它的原创 2017-05-13 20:41:22 · 21385 阅读 · 0 评论 -
SIFT特征提取原理
1.前言SIFT(Scale-invariant feature transform)是一种检测局部特征的算法,该算法通过求一幅图中的特征点(interest points,or corner points)及其有关scale 和 orientation 的描述子得到特征并进行图像特征点匹配,获得了良好效果。2.算法分析SIFT特征不只具有尺度不变性,即使改变旋转角度,原创 2017-05-13 14:25:12 · 8996 阅读 · 0 评论 -
贝叶斯决策思想的应用与延伸
1.贝叶斯的应用以下举一些实际例子来说明贝叶斯方法被运用的普遍性,这里主要集中在机器学习方面,因为我不是学经济的,否则还可以找到一堆经济学的例子。1.1 中文分词贝叶斯是机器学习的核心方法之一。比如中文分词领域就用到了贝叶斯。Google 研究员吴军在《数学之美》系列中就有一篇是介绍中文分词的,这里只介绍一下核心的思想,不做赘述,详细请参考吴军的文章。分词问题的描述为:原创 2017-03-19 17:08:35 · 3434 阅读 · 0 评论 -
基于贝叶斯决策理论的分类器
1.引言模式识别是根据对象特征值将其分类。d个特征组成特征向量x=[x1,···,xd]T,生成d维特征空间,在特征空间一个x称为一个模式样本。Bayes决策理论是用概率统计方法研究决策问题。(1)样本的不确定性:样本从总体中抽取,特征值都是随机变量,在相同条件下重复观测取值不同,故x为随机向量。特征选择的不完善引起的不确定性;测量中有随机噪声存在。原创 2017-03-19 16:14:36 · 4788 阅读 · 1 评论 -
分支限界法
1.分支限界法与回溯法(1)求解目标:回溯法的求解目标是找出解空间树中满足约束条件的所有解,而分支限界法的求解目标则是找出满足约束条件的一个解,或是在满足约束条件的解中找出在某种意义下的最优解。 (2)搜索方式的不同:回溯法以深度优先的方式搜索解空间树,而分支限界法则以广度优先或以最小耗费优先的方式搜索解空间树。2.分支限界法的基本思想 分支限界法常以广度优先或以最原创 2017-03-05 17:09:01 · 928 阅读 · 0 评论 -
线性判别分析LDA的数学原理(二)
1.关于PCA和LDA分类对比PCA是无类别信息,不知道样本属于哪个类,用PCA通常对全体数据操作。LDA有类别信息投影到类内间距最小&&类间间距最大。首先我们应该明白这两个算法的原理是不一样的,PCA是选择投影后使得整个数据方差最大的方向来投影,假设就是方差越大,信息量越多,PCA是一种无监督算法,没有类别信息。而LDA是选择投影后使得类内方差小而类间方差大的方向来投影,用到了类原创 2017-03-05 15:47:21 · 1877 阅读 · 0 评论 -
线性判别分析LDA的数学原理(一)
1.前言 之前我们讨论的PCA、ICA也好,对样本数据来言,可以是没有类别标签y的。回想我们做回归时,如果特征太多,那么会产生不相关特征引入、过度拟合等问题。我们可以使用PCA来降维,但PCA没有将类别标签考虑进去,属于无监督的。再举一个例子,假设我们对一张100*100像素的图片做人脸识别,每个像素是一个特征,那么会有10000个特征,而对应的类别标签y仅仅是0/1值,1代表是人原创 2017-03-05 15:14:55 · 2448 阅读 · 0 评论 -
Matlab神经网络十讲(6): RBNN 、 GRNN 、PNN
1. Introduction to Radial Basis Neural Networks Radial basis networks can require more neurons than standard feedforward backpropagation networks, but often they can be designed ina fractio原创 2018-02-01 23:00:01 · 9845 阅读 · 0 评论