机器学习
文章平均质量分 75
nciaebupt
学生,BUPT,ML,NLP,IR
展开
-
模拟退火算法
优化算法入门系列文章目录(更新中): 1. 模拟退火算法 2. 遗传算法一. 爬山算法 ( Hill Climbing ) 介绍模拟退火前,先介绍爬山算法。爬山算法是一种简单的贪心搜索算法,该算法每次从当前解的临近解空间中选择一个最优解作为当前解,直到达到一个局部最优解。 爬山算法实现很简单,其主要缺点是会陷入局部最优解,而不转载 2012-06-06 10:29:12 · 639 阅读 · 0 评论 -
最大似然估计法
极大似然估计法是求估计的另一种方法。它最早由高斯提出。后来为费歇在1912年的文章中重新提出,并且证明了这个方法的一些性质。极大似然估计这一名称也是费歇给的。这是一种上前仍然得到广泛应用的方法。它是建立在极大似然原理的基础上的一个统计方法,极大似然原理的直观想法是:一个随机试验如有若干个可能的结果A,B,C,…。若在一次试验中,结果A出现,则一般认为试验条件对A出现有利,也即A出现的概率很大。转载 2012-12-03 11:40:05 · 2231 阅读 · 0 评论 -
深入理解拉格朗日乘子法(Lagrange Multiplier) 和KKT条件
在求取有约束条件的优化问题时,拉格朗日乘子法(Lagrange Multiplier) 和KKT条件是非常重要的两个求取方法,对于等式约束的优化问题,可以应用拉格朗日乘子法去求取最优值;如果含有不等式约束,可以应用KKT条件去求取。当然,这两个方法求得的结果只是必要条件,只有当是凸函数的情况下,才能保证是充分必要条件。KKT条件是拉格朗日乘子法的泛化。之前学习的时候,只知道直接应用两个方法,但是却转载 2012-12-03 15:08:30 · 1200 阅读 · 0 评论 -
支持向量机:Duality
本文是“支持向量机系列”的番外篇(1),参见本系列的其他文章。在之前关于 support vector 的推导中,我们提到了 dual ,这里再来补充一点相关的知识。这套理论不仅适用于 SVM 的优化问题,而是对于所有带约束的优化问题都适用的,是优化理论中的一个重要部分。简单来说,对于任意一个带约束的优化都可以写成这样的形式:mins.t.f0(x)fi(x)≤0,i=1,转载 2012-12-03 16:11:03 · 1205 阅读 · 0 评论 -
信息检索和网络数据挖掘领域论文技术基础
原文地址:信息检索和网络数据挖掘领域论文技术基础作者:北武飘风信息检索和网络数据领域(WWW, SIGIR, CIKM, WSDM, ACL, EMNLP等)的论文中常用的模型和技术总结引子:对于这个领域的博士生来说,看懂论文是入行了解大家在做什么的研究基础,通常我们会去看一本书。看一本书固然是好,但是有一个很大的缺点:一本书本身自成体系,所以包含太多东西,很多内容看了,但转载 2013-01-08 14:01:20 · 875 阅读 · 0 评论 -
什么是吉布斯采样算法
2010-09-26 10:57 提问者: wsq2001024 |浏览次数:3337次我来帮他解答推荐答案 2010-10-06 15:29几个可以学习gibbs sampling的方法1,读Bishop的Pattern Recognition and Machine Learning,讲的很清楚,但是我记得好像没有例子。2,读artificial Int转载 2013-02-19 10:27:43 · 3027 阅读 · 0 评论 -
学习笔记之HMM模型
zz from 版权声明:转载时请以超链接形式标明文章原始出处和作者信息及本声明http://beecindy.blogbus.com/logs/125199263.htmlwiki上一个比较好的HMM例子:HMM(隐马尔科夫模型)是自然语言处理中的一个基本模型,用途比较广泛,如汉语分词、词性标注及语音识别等,在NLP中占有很重要的地位。网上关 于HMM的介绍讲解文档很多转载 2013-05-10 10:47:04 · 1081 阅读 · 0 评论 -
最大似然估计(Maximum likelihood estimation)
zz from http://www.cnblogs.com/liliu/archive/2010/11/22/1883702.html最大似然估计提供了一种给定观察数据来评估模型参数的方法,即:“模型已定,参数未知”。简单而言,假设我们要统计全国人口的身高,首先假设这个身高服从服从正态分布,但是该分布的均值与方差未知。我们没有人力与物力去统计全国每个人的身高,但是可以通过采样,获取部分人转载 2013-05-30 14:26:04 · 985 阅读 · 0 评论 -
损失函数-经验风险最小化-结构风险最小化
1、损失函数最简单的理解就是,给定一个实例,训练的模型对它的预测结果错了,就要受到惩罚, 因此需要定义一个量度量预测错误的程度,而损失函数就是用来衡量错误的程度。常见的损失函数有如下几类(用来表示损失函数):假设输入是X,输出是f(X),真实值是Y。(1)0-1损失函数(0-1 loss function) (2)平方损失函数(quadratic loss functi转载 2013-12-31 11:21:49 · 5535 阅读 · 0 评论 -
Boosting与Gradient Boosting
zz from http://www.cnblogs.com/LeftNotEasy/archive/2011/01/02/machine-learning-boosting-and-gradient-boosting.html前言: 本来上一章的结尾提到,准备写写线性分类的问题,文章都已经写得差不多了,但是突然听说最近Team准备做一套分布式的分类器,可能会使用Random For转载 2013-12-31 12:08:46 · 1263 阅读 · 0 评论 -
海森矩阵 Hessian matrix
二阶偏导数矩阵也就所谓的赫氏矩阵(Hessian matrix). 一元函数就是二阶导,多元函数就是二阶偏导组成的矩阵. 求向量函数最小值时用的,矩阵正定是最小值存在的充分条件。 经济学中常常遇到求最优的问题,目标函数是多元非线性函数的极值问题尚无一般的求解方法,但判定局部极小值的方法是有的,就是用hessian矩阵, 在x0点上,hessian矩阵是负定的,且各分量的一阶偏导数为转载 2012-12-03 11:26:21 · 2555 阅读 · 0 评论 -
对线性回归,logistic回归和一般回归的认识
【转载时请注明来源】:http://www.cnblogs.com/jerrylead JerryLead 2011年2月27日 作为一个机器学习初学者,认识有限,表述也多有错误,望大家多多批评指正。1 摘要 本报告是在学习斯坦福大学机器学习课程前四节加上配套的讲义后的总结与认识。前四节主要讲述了回归问题,回归属于有监督学习中的一种方法。该转载 2012-12-03 11:07:18 · 674 阅读 · 0 评论 -
再谈协方差矩阵之主成分分析
自从上次谈了协方差矩阵之后,感觉写这种科普性文章还不错,那我就再谈一把协方差矩阵吧。上次那篇文章在理论层次介绍了下协方差矩阵,没准很多人觉得这东西用处不大,其实协方差矩阵在好多学科里都有很重要的作用,比如多维的正态分布,再比如今天我们今天的主角——主成分分析(Principal Component Analysis,简称PCA)。结合PCA相信能对协方差矩阵有个更深入的认识~PCA的缘转载 2012-06-12 11:11:30 · 4161 阅读 · 1 评论 -
浅谈协方差矩阵
今天看论文的时候又看到了协方差矩阵这个破东西,以前看模式分类的时候就特困扰,没想到现在还是搞不清楚,索性开始查协方差矩阵的资料,恶补之后决定马上记录下来,嘿嘿~本文我将用自认为循序渐进的方式谈谈协方差矩阵。统计学的基本概念学过概率统计的孩子都知道,统计里最基本的概念就是样本的均值,方差,或者再加个标准差。首先我们给你一个含有n个样本的集合,依次给出这些概念的公式描述,这些高中学过数转载 2012-06-11 17:21:41 · 1805 阅读 · 1 评论 -
最大熵工具包的使用
最大熵是自然语言处理中经常用到的一种统计方法。网上也有很多最大熵方面的工具包,目前大家用得最多的应该是张乐博士写的最大熵工具包了。该工具包既可以采用命令行形式运行,也可以直接调用接口函数,为大家的研究工作带来了很大的方便。但是,对于刚接触到该工具包的人来说,使用起来还是有些麻烦的。一、命令行形式使用方法 1、利用命令行形式,首先要准备好特征文件。特征文件的格式在最大熵工具包的使转载 2012-10-28 14:36:48 · 1297 阅读 · 0 评论 -
libSVM 简易入门
原作:林弘德为什么写这个指南我一直觉得 SVM 是个很有趣的东西,不过一直沒办法去听林智仁老師 的Data mining与SVM的课,后来看了一些Internet上的文件,后来听 kcwu 讲了一下libsvm 的用法后,就想整理一下,算是对于并不需要知道完整 SVM 理论的人提供使用 libsvm 的入门。 原始 libsvm 的README跟FAQ也是很好的文件, 不过你可能要转载 2012-10-28 14:25:47 · 1113 阅读 · 0 评论 -
CRF++使用小结
1. 简述 最近要应用CRF模型,进行序列识别。选用了CRF++工具包,具体来说是在VS2008的C#环境下,使用CRF++的windows版本。本文总结一下了解到的和CRF++工具包相关的信息。 参考资料是CRF++的官方网站:CRF++: Yet Another CRF toolkit,网上的很多关于CRF++的博文就是这篇文章的全部或者部分的翻译,本文也翻译了一些转载 2012-10-28 14:27:21 · 1110 阅读 · 0 评论 -
k均值聚类(K-means)
4.1、摘要 在前面的文章中,介绍了三种常见的分类算法。分类作为一种监督学习方法,要求必须事先明确知道各个类别的信息,并且断言所有待分类项都有一个类别与之对应。但是很多时候上述条件得不到满足,尤其是在处理海量数据的时候,如果通过预处理使得数据满足分类算法的要求,则代价非常大,这时候可以考虑使用聚类算法。聚类属于无监督学习,相比于分类,聚类不依赖预定义的类和类标号的训练实例。本文首先介转载 2012-12-02 13:49:58 · 1118 阅读 · 0 评论 -
最优化理论与KKT条件
1. 最优化理论(Optimization Theory)最优化理论是研究函数在给定一组约束条件下的最小值(或者最大值)的数学问题. 一般而言, 一个最优化问题具有如下的基本形式:min.:f(x)s.t.:gi(x)≤0,i=1,2,...,p,hj(x)=0,k=1,2,...,q,x∈Ω⊂Rn转载 2012-12-03 15:19:23 · 7338 阅读 · 0 评论 -
最大似然估计(Maximum likelihood estimation)
最大似然估计提供了一种给定观察数据来评估模型参数的方法,即:“模型已定,参数未知”。简单而言,假设我们要统计全国人口的身高,首先假设这个身高服从服从正态分布,但是该分布的均值与方差未知。我们没有人力与物力去统计全国每个人的身高,但是可以通过采样,获取部分人的身高,然后通过最大似然估计来获取上述假设中的正态分布的均值与方差。 最大似然估计中采样需满足一个很重要的假设,就是所有的采样都是独立转载 2012-12-03 11:19:38 · 720 阅读 · 0 评论 -
什么是对偶问题
什么是对偶问题任何一个求极大化的线性规划问题都有一个求极小化的线性规划问题与之对应,反之亦然,如果我们把其中一个叫原问题,则另一个就叫做它的对偶问题,并称这一对互相联系的两个问题为一对对偶问题。生产计划问题(资源利用问题)胜利家具厂生产桌子和椅子两种家具。桌子售价50元/个,椅子销售价格30/个,生产桌子和椅子要求需要木工和油漆工两种工种。生产一个桌子需要木工4小时,油漆工转载 2012-12-03 15:37:23 · 40099 阅读 · 14 评论 -
随机森林与GBDT
zz from http://www.cnblogs.com/leftnoteasy/archive/2011/03/07/random-forest-and-gbdt.html前言: 决策树这种算法有着很多良好的特性,比如说训练时间复杂度较低,预测的过程比较快速,模型容易展示(容易将得到的决策树做成图片展示出来)等。但是同时,单决策树又有一些不好的地方,比如说容易over-fi转载 2013-12-31 12:11:23 · 1950 阅读 · 0 评论