机器学习
_bazinga
这个作者很懒,什么都没留下…
展开
-
神经网络 BP算法
学习是神经网络一种最重要也最令人注目的特点。在神经网络的发展进程中,学习算法的研究有着十分重要的地位。目前,人们所提出的神经网络模型都是和学习算 法相应的。所以,有时人们并不去祈求对模型和算法进行严格的定义或区分。有的模型可以有多种算法.而有的算法可能可用于多种模型。不过,有时人们也称算法 为模型。自从40年代Hebb提出的学习规则以来,人们相继提出了各种各样的学习算法。其中以在1986年转载 2016-03-31 09:21:09 · 1152 阅读 · 0 评论 -
ICA独立成分分析
独立成分分析(Independent Component Analysis)1. 问题: 1、上节提到的PCA是一种数据降维的方法,但是只对符合高斯分布的样本点比较有效,那么对于其他分布的样本,有没有主元分解的方法呢? 2、经典的鸡尾酒宴会问题(cocktail party problem)。假设在party中有n个人,他们可以同时说话,我们也在房间中一些角落里转载 2016-04-11 21:26:12 · 1315 阅读 · 0 评论 -
PCA主成分分析
主成分分析的目的:特征降维1.为什么要进行特征降维? 直观上通常认为样本向量的维数越高,就了解样本更多方面的属性,应该对提高识别率有利,然而事实并非如此。 对于已知的样本数目,存在着一个特征数目的最大值,当实际使用的特征数目超过这个最大值时,分类器的性能不是得到改善而是退化。这种现象是模式是被中的“维度灾难”。 最好的一个例子是:一对双胞胎,其中一个额头上有痣,另外一个额头上没转载 2016-04-11 20:39:05 · 607 阅读 · 0 评论 -
拉格朗日对偶问题-支持向量机
转载 2016-04-08 16:00:59 · 256 阅读 · 0 评论 -
拉格朗日对偶问题-支持向量机
先抛开上面的二次规划问题,先来看看存在等式约束的极值问题求法,比如下面的最优化问题: 目标函数是f(w),下面是等式约束。通常解法是引入拉格朗日算子,这里使用来表示算子,得到拉格朗日公式为 L是等式约束的个数。 然后分别对w和求偏导,使得偏导数等于0,然后解出w和。至于为什么引入拉格朗日算子可以求出极值,原因转载 2016-04-08 14:44:42 · 481 阅读 · 0 评论 -
支持向量机
(一)SVM的背景简介支持向量机(Support Vector Machine)是Cortes和Vapnik于1995年首先提出的,它在解决小样本、非线性及高维模式识别中表现出许多特有的优势,并能够推广应用到函数拟合等其他机器学习问题中[10]。支持向量机方法是建立在统计学习理论的VC 维理论和结构风险最小原理基础上的,根据有限的样本信息在模型的复杂性(即对特定训练样本的学习精度,Ac转载 2016-04-06 18:30:04 · 758 阅读 · 0 评论 -
机器学习之期望最大算法(EM算法)
EM是我一直想深入学习的算法之一,第一次听说是在NLP课中的HMM那一节,为了解决HMM的参数估计问题,使用了EM算法。在之后的MT中的词对齐中也用到了。在Mitchell的书中也提到EM可以用于贝叶斯网络中。下面主要介绍EM的整个推导过程。1. Jensen不等式 回顾优化理论中的一些概念。设f是定义域为实数的函数,如果对于所有的实数x,,那么f是凸函数。当x是转载 2016-03-20 21:37:55 · 768 阅读 · 0 评论 -
机器学习之最大似然算法
机器学习十大算法之一:EM算法。能评得上十大之一,让人听起来觉得挺NB的。什么是NB啊,我们一般说某个人很NB,是因为他能解决一些别人解决不了的问题。神为什么是神,因为神能做很多人做不了的事。那么EM算法能解决什么问题呢?或者说EM算法是因为什么而来到这个世界上,还吸引了那么多世人的目光。 我希望自己能通俗地把它理解或者说明白,但是,EM这个问题感觉真的不太好用通俗的语言去说明转载 2016-03-20 21:39:43 · 13448 阅读 · 1 评论 -
机器学习之线性判别分析(LDA) 主成分分析(PCA)
前言: 第二篇的文章中谈到,和部门老大一宁出去outing的时候,他给了我相当多的机器学习的建议,里面涉及到很多的算法的意义、学习方法等等。一宁上次给我提到,如果学习分类算法,最好从线性的入手,线性分类器最简单的就是LDA,它可以看做是简化版的SVM,如果想理解SVM这种分类器,那理解LDA就是很有必要的了。 谈到LDA,就不得不谈谈PCA,PCA是一个和LDA非常相关的转载 2016-03-20 21:33:44 · 683 阅读 · 0 评论 -
聚类分析
聚类分析是一种重要的人类行为,早在孩提时代,一个人就通过不断改进下意识中的聚类模式来学会如何区分猫狗、动物植物。目前在许多领域都得到了广泛的研究和成功的应用,如用于模式识别、数据分析、图像处理、市场研究、客户分割、Web文档分类等[1]。 聚类就是按照某个特定标准(如距离准则)把一个数据集分割成不同的类或簇,使得同一个簇内的数据对象的相似性尽可能大,同时不在同一个簇中的数据对象的差异性也尽可能转载 2016-04-01 10:57:17 · 2066 阅读 · 0 评论 -
PCA主成分分析
主成分分析的目的:特征降维1.为什么要进行特征降维? 直观上通常认为样本向量的维数越高,就了解样本更多方面的属性,应该对提高识别率有利,然而事实并非如此。 对于已知的样本数目,存在着一个特征数目的最大值,当实际使用的特征数目超过这个最大值时,分类器的性能不是得到改善而是退化。这种现象是模式是被中的“维度灾难”。 最好的一个例子是:一对双胞胎,其中一个额头上有痣,另外一个额头上没转载 2016-04-20 21:44:11 · 784 阅读 · 0 评论