机器学习
Sunshine_in_Moon
对计算机视觉,深度学习方向很感兴趣,愿意和大家分享。现在学习大规模人脸识别,人脸检测等相关工作,希望得到大家的帮助!
展开
-
线性回归
本文会讲到:(1)线性回归的定义(2)单变量线性回归(3)cost function:评价线性回归是否拟合训练集的方法(4)梯度下降:解决线性回归的方法之一(5)feature scaling:加快梯度下降执行速度的方法(6)多变量线性回归Linear Regression 注意一句话:多变量线性回归之前必须要Featu转载 2015-05-21 22:38:10 · 902 阅读 · 0 评论 -
机器学习--主成分分析
本文转自:http://blog.csdn.net/linkin1005/article/details/42171387因子分析是基于概率模型的基础上,利用EM算法的迭代,对参数进行估计。主成份分析(Principal Components Analysis, PCA)仅仅通过的线性变幻,用少数几个主分量来近似的表示所有的变量,以达到降低维度的目的。一、 规范化(nor转载 2015-06-08 16:51:23 · 1114 阅读 · 0 评论 -
机器学习--交叉验证
本文转自:http://blog.csdn.net/linkin1005/article/details/42869331假设我们需要从某些候选模型中选择最适合某个学习问题的模型,我们该如何选择?以多元回归模型为例:,应该如何确定k的大小,使得该模型对解决相应的分类问题最为有效?如何在偏倚(bias)和方差(variance)之间寻求最佳的平衡点?更进一步,我们同样需要知道如何在加转载 2015-06-08 16:54:59 · 1627 阅读 · 0 评论 -
机器学习--特征选择
本文转自:http://blog.csdn.net/linkin1005/article/details/43018827特征选择是一种及其重要的数据预处理方法。假设你需要处理一个监督学习问题,样本的特征数非常大(甚至 ),但是可能仅仅有少部分特征会和对结果产生影响。甚至是简单的线性分类,如果样本特征数超过了n,但假设函数的VC维确仍然是O(n),那么,除非大大扩展训练集的数量转载 2015-06-08 16:54:50 · 918 阅读 · 0 评论 -
LDA 线性判别分析
本文转自:http://blog.csdn.net/bookwormno1/article/details/6791373LDA算法入门 一. LDA算法概述:线性判别式分析(Linear Discriminant Analysis, LDA),也叫做Fisher线性判别(Fisher Linear Discriminant ,FLD),是模式识别的经典算法,它是在19转载 2015-06-28 16:03:26 · 1692 阅读 · 1 评论 -
直方图交叉核
本文转自:http://blog.csdn.net/smartempire/article/details/23168945看关于LBP人脸识别的论文时提到了Histogram intersection这个方法,方法最初来自The Pyramid Match Kernel:Discriminative Classification with Sets of Image Features转载 2015-06-28 22:11:15 · 1479 阅读 · 0 评论 -
什么是NP问题?
本文转自:http://blog.csdn.net/panpan639944806/article/details/8146206什么是NP问题概念:在计算机学科中,存在多项式时间的算法的一类问题,称之为P类问题;而像梵塔问题、推销员旅行问题、(命题表达式)可满足问题这类,至今没有找到多项式时间算法解的一类问题,称之为NP类问题。拿推销员旅行问题为例,假设推销员亨利有向转载 2015-06-08 20:27:38 · 1384 阅读 · 0 评论 -
LBP方法
本文转自:http://blog.csdn.net/smartempire/article/details/23249517与第一篇博文特征脸方法不同,LBP(Local Binary Patterns,局部二值模式)是提取局部特征作为判别依据的。LBP方法显著的优点是对光照不敏感,但是依然没有解决姿态和表情的问题。不过相比于特征脸方法,LBP的识别率已经有了很大的提升。在[1]的文章转载 2015-06-28 22:10:10 · 1071 阅读 · 0 评论 -
极大似然估计原理思想
本文转自:http://blog.csdn.net/poi7777/article/details/23204789 在机器学习的领域内,极大似然估计是最常见的参数估计的方法之一,在这里整理一下它的基本原理。极大似然估计从根本上遵循——眼见为实,这样的哲学思想。也就是说,它严格地仅仅利用了已知的实验结果,来估计概率模型中的参数。 极大似然估计的计转载 2015-06-09 19:37:49 · 12812 阅读 · 0 评论 -
奇异值分解
本分引用了:http://blog.csdn.net/abcjennifer/article/details/8131087http://blog.csdn.net/google19890102/article/details/27109235一、什么是酉矩阵?n阶复方阵U的n个列向量是U空间的一个标准正交基,则U是酉矩阵(Unitary Matrix)。显然酉矩阵是正交矩阵往复数原创 2015-06-11 11:47:22 · 1765 阅读 · 0 评论 -
boosting算法
本文转自:http://www.360doc.com/content/12/0307/12/4910_192442968.shtml一、Boosting算法的发展历史 Boosting算法是一种把若干个分类器整合为一个分类器的方法,在boosting算法产生之前,还出现过两种比较重要的将多个分类器整合 为一个分类器的方法,即boostrapping方法和bagging方法。我们先转载 2015-07-01 21:14:31 · 980 阅读 · 0 评论 -
Adaboost 算法的原理与推导(强烈推荐)
本文转自:http://www.360doc.com/content/14/1109/12/20290918_423780183.shtmlAdaboost 算法的原理与推导0 引言 一直想写Adaboost来着,但迟迟未能动笔。其算法思想虽然简单“听取多人意见,最后综合决策”,但一般书上对其算法的流程描述实在是过于晦涩。昨日11月1日下午,邹博在我组织的机器学习转载 2015-07-01 21:17:35 · 4240 阅读 · 1 评论 -
openCV 级联分类器
本文转自: http://www.opencv.org.cn/opencvdoc/2.3.2/html/doc/user_guide/ug_traincascade.html 级联分类器训练介绍级联分类器包括两部分:训练和检测。 检测部分在OpenCV obj转载 2015-07-04 19:16:53 · 1474 阅读 · 0 评论 -
浅析人脸检测之Haar分类器方法
本文转自:http://www.cnblogs.com/ello/archive/2012/04/28/2475419.html浅析人脸检测之Haar分类器方法一、Haar分类器的前世今生 人脸检测属于计算机视觉的范畴,早期人们的主要研究方向是人脸识别,即根据人脸来识别人物的身份,后来在复杂背景下的人脸检测需求越来越大,人脸检测也逐渐作为一个单独的研究方向发展起来。转载 2015-07-04 19:46:27 · 1183 阅读 · 0 评论 -
随机森林概述
本文转自:http://blog.csdn.net/armily/article/details/8923961在机器学习中,随机森林由许多的决策树组成,因为这些决策树的形成采用了随机的方法,因此也叫做随机决策树。随机森林中的树之间是没有关联的。当测试数据进入随机森林时,其实就是让每一颗决策树进行分类,最后取所有决策树中分类结果最多的那类为最终的结果。因此随机森林是一个包含多个决策树的转载 2015-08-28 10:58:27 · 1515 阅读 · 0 评论 -
机器学习--因子分析
本文转自:http://blog.csdn.net/linkin1005/article/details/41944771一、问题的提出在EM算法求解高斯混合模型一文中,我们的样本集 ,而样本的数量m远大于样本的维度n,因此,可以轻易的构造出高斯混合模型。现在,我们再看下不同的情况:假如,或,我们将很难构建一个普通高斯模型,更别提高斯混合模型。这m个的数据仅仅是转载 2015-06-08 16:52:01 · 1625 阅读 · 0 评论 -
机器学习--朴素贝叶斯
本文转自:http://blog.csdn.net/linkin1005/article/details/39025879首次听说朴素贝叶斯是在吴军的google黑板报数学之美专题,统计语言模型一章中谈及。其后,吴信东在我们学院的《数据挖掘十大算法》中再次介绍。最近,在学习Andrew Ng的机器课程也介绍了朴素贝叶斯。既然这么重要,有必要将课程内容进行整理。一、 概念1转载 2015-06-08 16:40:26 · 729 阅读 · 0 评论 -
机器学习--EM算法求解高斯混合模型
本文转自:http://blog.csdn.net/linkin1005/article/details/41212085EM算法(Expection-Maximizationalgorithm,EM)是一种迭代算法,通过E步和M步两大迭代步骤,每次迭代都使极大似然函数增加。但是,由于初始值的不同,可能会使似然函数陷入局部最优。辜丽川老师和其夫人发表的论文:基于分裂EM算法的GMM转载 2015-06-08 16:49:44 · 1507 阅读 · 0 评论 -
SVM理论openCV实现
本文转自:http://blog.csdn.net/zhazhiqiang/一、理论参考网友的博客:(1)【理论】支持向量机1: Maximum Margin Classifier —— 支持向量机简介(2)【理论】支持向量机2: Support Vector —— 介绍支持向量机目标函数的 dual 优化推导,并得出“支持向量”的概念(3)【理论】支持转载 2015-05-21 22:46:30 · 1544 阅读 · 0 评论 -
支撑矢量机-SMO详解
本文转自:http://www.cnblogs.com/jerrylead/archive/2011/03/18/1988419.htmlSMO优化算法(Sequential minimal optimization)SMO算法由Microsoft Research的John C. Platt在1998年提出,并成为最快的二次规划优化算法,特别针对线性SVM和数据稀疏时性能更优转载 2015-06-17 21:59:01 · 847 阅读 · 0 评论 -
SMO算法
本文转自:http://blog.sina.com.cn/s/blog_89ba75c80101gxgg.htmlSMO算法 在上文2.1.2节中,我们提到了求解对偶问题的序列最小最优化SMO算法,但并未提到其具体解法。 事实上,SMO算法是由Microsoft Research的John C. Platt在1998年发表的一篇论文《Sequen转载 2015-06-17 22:19:48 · 3748 阅读 · 0 评论 -
LogisticRegression
本文转自:http://blog.csdn.net/xietingcandice/article/details/44099349下面是转载的内容,主要是介绍逻辑回归的理论知识,先总结一下自己看完的心得简单来说线性回归就是直接将特征值和其对应的概率进行相乘得到一个结果,逻辑回归则是这样的结果上加上一个逻辑函数这里选用的就是Sigmoid函数,在坐标尺度很大的情况下类似于阶跃函数转载 2015-05-22 20:30:46 · 1145 阅读 · 0 评论 -
PCA
本文转自:http://blog.csdn.net/xw20084898/article/details/34837761在图形识别方面,主成分分析(Principal Comonents Analysis,PCA)算是比较快速而且又准确的方式之一,它可以对抗图形平移旋转的事件发生,并且藉由主要特征(主成分)投影过后的数据做数据的比对,在多个特征信息里面,取最主要的K个,做为它的特征依转载 2015-06-28 12:06:22 · 880 阅读 · 0 评论 -
机器学习-广义线性模型
本文转自:http://blog.csdn.net/linkin1005/article/details/387535171.指数分布族指数分布族(Exponential Family)是这样一组分布:这些分布的概率密度函数可以表示成以下形式:其中,y是随机变量;h(x)称为基础度量值(base measure);称为自然参数(natural paramet转载 2015-06-08 16:39:23 · 1327 阅读 · 0 评论 -
机器学习--高斯判别分析
本文转自:http://blog.csdn.net/linkin1005/article/details/39054023同朴素贝叶斯一样,高斯判别分析(Gaussian discriminant analysismodel, GDA)也是一种生成学习算法,在该模型中,我们假设y给定的情况下,x服从混合正态分布。通过训练确定参数,新样本通过已建立的模型计算出隶属不同类的概率,选取概率最大为样本转载 2015-06-08 16:43:10 · 1168 阅读 · 0 评论 -
机器学习--K-means算法
本文转自:http://blog.csdn.net/linkin1005/article/details/39312735提到k-means不得不说的许高建老师,他似乎比较偏爱使用这种聚类方法,在N个不同场合听到他提起过,k-means通过设置重心和移动中心两个简答的步骤,就实现了数据的聚类。下面就来介绍下k-means算法。一、 数值属性距离度量度量数值属性相似度最简单的方法就是转载 2015-06-08 16:45:16 · 947 阅读 · 0 评论 -
机器学习--支持矢量机(2)
本文转自:http://blog.csdn.net/linkin1005/article/details/39956989五、拉格朗日对偶(Lagrange duality)(1)拉格朗日算子如果我们需要求解形如这样的优化问题:我们定义拉格朗日算子(Lagrangian):其中,称为拉格朗日乘数(Lagrange multipliers)转载 2015-06-08 16:47:26 · 724 阅读 · 0 评论 -
机器学习--支持矢量机(3)
本文转自:http://blog.csdn.net/linkin1005/article/details/40979019八、核(kernel)如果样本点为线性不可分,那么,需要将数据映射到高维空间,使在原始空间内其线性可分变为线性可分。如下图所示:上文提到,分类器可以写成:}+b" alt="" src="http://latex.codecogs.com转载 2015-06-08 16:48:31 · 910 阅读 · 0 评论 -
机器学习--误差理论
本文转自:http://blog.csdn.net/linkin1005/article/details/42563229一、偏倚(bias)和方差(variance)在讨论线性回归时,我们用一次线性函数对训练样本进行拟合(如图1所示);然而,我们可以通过二次多项式函数对训练样本进行拟合(如图2所示),函数对样本的拟合程序看上去更“好”;当我们利用五次多项式函数对样本进行拟合(转载 2015-06-08 16:53:35 · 1552 阅读 · 0 评论 -
机器学习-逻辑回归
本文转自:http://blog.csdn.net/linkin1005/article/details/39182195Logistic回归是一种最常见的二分类算法,它利用已知样本对模型进行参数估计,属于监督算法。一、 logisitic 函数形如的函数称为logistic函数,也称sigmoid函数(S形函数), 其函数图像如下图所示:logis转载 2015-06-08 16:43:10 · 591 阅读 · 0 评论 -
机器学习--线性回归
本文转自:http://blog.csdn.net/linkin1005/article/details/39188599一、概念线性回归是利用称为线性回归函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。线性回归函数则是一个或多个称为回归系数的模型参数的线性组合。二、用途当结论或者类是数值,并且所有训练样本都为数值时,可以使用线性回归的方法。线性回归主转载 2015-06-08 16:45:13 · 844 阅读 · 0 评论 -
机器学习--支持矢量机(1)
本文转自:http://blog.csdn.net/linkin1005/article/details/39545811首次听说SVM是在实验室的科研进展报告上听杨宝华老师提到过,当时听得云里雾里,觉得非常的高大上。随后在辜丽川老师的人工智能作业上我也选择介绍SVM。但都是浅显的认识,没有继续深入。最近看了Andrew Ng的讲义和v_JULY_v大神的博文《支持向量机通俗导论(转载 2015-06-08 16:47:38 · 1080 阅读 · 0 评论 -
流形学习-高维数据的降维与可视化
本文转自:http://blog.csdn.net/u012162613/article/details/459208271.流形学习的概念流形学习方法(Manifold Learning),简称流形学习,自2000年在著名的科学杂志《Science》被首次提出以来,已成为信息科学领域的研究热点。在理论和应用上,流形学习方法都具有重要的研究意义。假设数据是均匀采样于一个高维转载 2016-04-15 11:06:51 · 5907 阅读 · 0 评论