机器学习
「已注销」
这个作者很懒,什么都没留下…
展开
-
从最大似然到EM算法浅解
从最大似然到EM算法浅解 机器学习十大算法之一:EM算法。能评得上十大之一,让人听起来觉得挺NB的。什么是NB啊,我们一般说某个人很NB,是因为他能解决一些别人解决不了的问题。神为什么是神,因为神能做很多人做不了的事。那么EM算法能解决什么问题呢?或者说EM算法是因为什么而来到这个世界上,还吸引了那么多世人的目光。 我希望自己能通俗地把转载 2014-06-06 16:30:17 · 798 阅读 · 0 评论 -
Matlab安装使用libsvm
防止别人重复犯一些错误,把网络上看到得东西总结一下,希望对某些人有些帮助。20120703 一.下载libsvmhttp://www.csie.ntu.edu.tw/~cjlin/libsvm/在libsvm的网站上下载 libsvm-3.12.zip文件,解压后放在任意目录下,最好放在MATLAB工具箱中,比如 C:\Program Files\MAT转载 2014-11-20 15:59:42 · 657 阅读 · 0 评论 -
各种距离
在做分类时常常需要估算不同样本之间的相似性度量(SimilarityMeasurement),这时通常采用的方法就是计算样本间的“距离”(Distance)。采用什么样的方法计算距离是很讲究,甚至关系到分类的正确与否。 本文的目的就是对常用的相似性度量作一个总结。本文目录:1.欧氏距离2.曼哈顿距离3. 切比雪夫距离4. 闵可夫斯基距离转载 2014-09-17 18:33:11 · 655 阅读 · 0 评论 -
图˙谱˙马尔可夫过程˙聚类结构----by林达华
这又是林达华的一篇好文,将四个概念在某个方面解释的很清楚,特别是特征值和特征向量的意义,让人豁然开朗。 原文已经找不到了,好像是因为林达华原来的live博客已经失效,能找到的只有网上转载的文章(本来还想把他的博客看个遍)。林本人的数学功底之强,有时候会让我们这些搞CV、ML的人趁还在学校,重头把一些数学学一遍。不过想想学校所开设的课程实在是屎(老师和学生们都是混),也就想想罢了。转载 2014-06-14 16:02:29 · 1155 阅读 · 0 评论 -
图像检索中为什么仍用BOW和LSH
去年年底的时候在一篇博客中,用ANN的框架解释了BOW模型[1],并与LSH[2]等哈希方法做了比较,当时得出了结论,BOW就是一种经过学习的Hash函数。去年再早些时候,又简单介绍过LLC[3]等稀疏的表示模型,当时的相关论文几乎一致地得出结论,这些稀疏表示的方法在图像识别方面的性能一致地好于BOW的效果。后来我就逐渐产生两个疑问:1)BOW在检索时好于LSH,那么为什么不在任何时候都用转载 2014-06-14 15:49:13 · 3333 阅读 · 0 评论 -
CVPR14与图像视频检索相关的论文
找了一下CVPR 2014关于Image and Video Retrieval的文章,列在下面:Oral:Triangulation embedding and democratic aggregation for image search ,Jegou Jegou依然在填BOW模型的坑,在encoding和aggregation两方面做改进。转载 2014-06-14 15:47:44 · 1696 阅读 · 0 评论 -
降维(二)----Laplacian Eigenmaps
降维系列:降维(一)----说说主成分分析(PCA)的源头降维(二)----Laplacian Eigenmaps--------------------- 前一篇文章中介绍了主成分分析。PCA的降维原则是最小化投影损失,或者是最大化保留投影后数据的方差。在谈到其缺点的时候,我们说这一目标并不一定有助于数据的分类,换句话说,原本在高维转载 2014-06-14 16:04:48 · 865 阅读 · 0 评论 -
降维(一)----说说主成分分析(PCA)的源头
降维系列:降维(一)----说说主成分分析(PCA)的源头降维(二)----Laplacian Eigenmaps--------------------- 主成分分析(PCA) 在很多教程中做了介绍,但是为何通过协方差矩阵的特征值分解能够得到数据的主成分?协方差矩阵和特征值为何如此神奇,我却一直没弄清。今天终于把整个过程整理出来,方便自己学习,也和大家转载 2014-06-14 16:03:44 · 8215 阅读 · 0 评论 -
机器学习——深度学习(Deep Learning)
Deep Learning是机器学习中一个非常接近AI的领域,其动机在于建立、模拟人脑进行分析学习的神经网络,最近研究了机器学习中一些深度学习的相关知识,本文给出一些很有用的资料和心得。Key Words:有监督学习与无监督学习,分类、回归,密度估计、聚类,深度学习,Sparse DBN,1. 有监督学习和无监督学习给定一组数据(inpu转载 2014-07-18 16:16:56 · 567 阅读 · 0 评论 -
无监督特征学习——Unsupervised feature learning and deep learning
无监督学习近年来很热,先后应用于computer vision, audio classification和 NLP等问题,通过机器进行无监督学习feature得到的结果,其accuracy大多明显优于其他方法进行training。本文将主要针对Andrew的unsupervised learning,结合他的视频:unsupervised feature learning by Andr转载 2014-07-18 15:59:28 · 532 阅读 · 0 评论 -
深入浅出K-Means算法
在数据挖掘中,K-Means算法是一种cluster analysis的算法,其主要是来计算数据聚集的算法,主要通过不断地取离种子点最近均值的算法。问题K-Means算法主要解决的问题如下图所示。我们可以看到,在图的左边有一些点,我们用肉眼可以看出来有四个点群,但是我们怎么通过计算机程序找出这几个点群来呢?于是就出现了我们的K-Means算法(Wikipedia链接)转载 2014-07-17 20:12:26 · 445 阅读 · 0 评论 -
主成分分析(PCA)
问题:假设在IR中我们建立的文档-词项矩阵中,有两个词项为“learn”和“study”,在传统的向量空间模型中,认为两者独立。然而从语义的角度来讲,两者是相似的,而且两者出现频率也类似,是不是可以合成为一个特征呢? 《模型选择和规则化》谈到的特征选择的问题,就是要剔除的特征主要是和类标签无关的特征。比如“学生的名字”就和他的“成绩”无关,使用的是互信息的方法。转载 2014-07-17 19:27:34 · 1053 阅读 · 0 评论 -
独立成分分析(Independent Component Analysis)
1. 问题: 1、上节提到的PCA是一种数据降维的方法,但是只对符合高斯分布的样本点比较有效,那么对于其他分布的样本,有没有主元分解的方法呢? 2、经典的鸡尾酒宴会问题(cocktail party problem)。假设在party中有n个人,他们可以同时说话,我们也在房间中一些角落里共放置了n个声音接收器(Microphone)用来记录声音。宴会过后,我们从n个转载 2014-07-17 20:07:56 · 636 阅读 · 0 评论 -
线性判别分析(Linear Discriminant Analysis)
1. 问题 之前我们讨论的PCA、ICA也好,对样本数据来言,可以是没有类别标签y的。回想我们做回归时,如果特征太多,那么会产生不相关特征引入、过度拟合等问题。我们可以使用PCA来降维,但PCA没有将类别标签考虑进去,属于无监督的。 比如回到上次提出的文档中含有“learn”和“study”的问题,使用PCA后,也许可以将这两个特征合并为一个,降了维度。但假设我们的转载 2014-07-17 20:03:34 · 847 阅读 · 0 评论 -
线性回归,logistic回归,一般回归
转自 JerryLead 2011年2月27日1 摘要 本报告是在学习斯坦福大学机器学习课程前四节加上配套的讲义后的总结与认识。前四节主要讲述了回归问题,回归属于有监督学习中的一种方法。该方法的核心思想是从连续型统计数据中得到数学模型,然后将该数学模型用于预测或者分类。该方法处理的数据可以是多维的。 讲义最初介绍了一个基本问题,然后引出了线转载 2014-07-17 20:03:34 · 548 阅读 · 0 评论 -
计算机视觉、机器学习相关领域论文和源代码大集合
计算机视觉、机器学习相关领域论文和源代码大集合--持续更新…… 注:下面有project网站的大部分都有paper和相应的code。Code一般是C/C++或者Matlab代码。最近一次更新:2013-3-17一、特征提取Feature Extraction:· SIFT [1] [Demo program][SIFT Lib转载 2014-06-06 16:33:10 · 726 阅读 · 0 评论 -
深入理解拉格朗日乘子法(Lagrange Multiplier) 和KKT条件
在求取有约束条件的优化问题时,拉格朗日乘子法(Lagrange Multiplier) 和KKT条件是非常重要的两个求取方法,对于等式约束的优化问题,可以应用拉格朗日乘子法去求取最优值;如果含有不等式约束,可以应用KKT条件去求取。当然,这两个方法求得的结果只是必要条件,只有当是凸函数的情况下,才能保证是充分必要条件。KKT条件是拉格朗日乘子法的泛化。之前学习的时候,只知道直接应用两个方法,但是却转载 2014-11-20 15:27:56 · 748 阅读 · 0 评论