机器学习
文章平均质量分 83
Vinson
梦想路上,全力以赴,顺其自然......
展开
-
线性判别分析(LDA), 主成分分析(PCA)
转自:http://blog.csdn.net/xiazhaoqiang/article/details/6579059 前言: 第二篇的文章中谈到,和部门老大一宁出去outing的时候,他给了我相当多的机器学习的建议,里面涉及到很多的算法的意义、学习方法等等。一宁上次给我提到,如果学习分类算法,最好从线性的入手,线性分类器最简单的就是LDA,它可以看做是简化版的SV转载 2013-05-03 09:17:56 · 908 阅读 · 0 评论 -
从决策树学习谈到贝叶斯分类算法、EM、HMM
参考:http://blog.csdn.net/v_july_v/article/details/7577684引言 最近在面试中(点击查看,我的个人简历),除了基础 & 算法 & 项目之外,经常被问到或被要求介绍和描述下自己所知道的几种分类或聚类算法,而我向来恨对一个东西只知其皮毛而不得深入,故写一个有关聚类 & 分类算法的系列文章以...原创 2012-05-26 19:50:13 · 333 阅读 · 0 评论 -
和机器学习和计算机视觉相关的数学
转载过来的,对机器视觉给出了很好的建议。 1. 线性代数 (Linear Algebra):我想国内的大学生都会学过这门课程,但是,未必每一位老师都能贯彻它的精要。这门学科对于Learning是必备的基础,对它的透彻掌握是必不可少的。我在科大一年级的时候就学习了这门课,后来到了香港后,又重新把线性代数读了一遍,所读的是Introduction to Linear Algebra ...原创 2012-10-27 10:37:17 · 73 阅读 · 0 评论 -
Logistic Regression--逻辑回归 分析【转】
参考:http://www.cnblogs.com/biyeymyhjob/archive/2012/07/18/2595410.html 初步接触谓LR分类器(Logistic Regression Classifier),并没有什么神秘的。在分类的情形下,经过学习之后的LR分类器其实就是一组权值w0,w1,...,wm. 当测试样本集中的测试数据来到时,这一组权值按照与测试数...原创 2012-11-01 10:41:01 · 267 阅读 · 0 评论 -
海森矩阵(Hessian matrix)
转自:http://hi.baidu.com/imheaventian/item/c8591b19907bd816e2f98612 在数学中,海森矩阵(Hessian matrix 或 Hessian)是一个自变量为向量的实值函数的二阶偏导数组成的方块矩阵,此函数如下:如果 f 所有的二阶导数都存在,那么 f 的海森矩阵即:H(f)ij(x) = DiDjf(x)其中 ...原创 2012-11-01 16:40:40 · 2332 阅读 · 0 评论 -
【转】数学在机器学习中的重要性
Linear Algebra (线性代数) 和 Statistics (统计学) 是最重要和不可缺少的。这代表了Machine Learning中最主流的两大类方法的基础。一种是以研究函数和变换为重点的代数方法,比如Dimension reduction,feature extraction,Kernel等,一种是以研究统计模型和样本分布为重点的统计方法,比如Graphical model,...原创 2012-11-10 17:19:16 · 129 阅读 · 0 评论 -
[转]贝叶斯球(Bayes Ball)算法
参考:http://www.cnblogs.com/pangliang/archive/2011/02/27/1966303.html 用有向图表示的概率模型也叫“贝叶斯网络”. 贝叶斯网络中的两个结点与关于结点(或结点集合)条件独立时我们称“D-separates”与, 写作. D-Separation中的D指Directed. 从图形上看, 结点集合“D-separates”结点...原创 2012-11-12 10:53:17 · 861 阅读 · 0 评论 -
(EM算法)The EM Algorithm
参考:http://www.cnblogs.com/jerrylead/archive/2011/04/06/2006936.html EM是我一直想深入学习的算法之一,第一次听说是在NLP课中的HMM那一节,为了解决HMM的参数估计问题,使用了EM算法。在之后的MT中的词对齐中也用到了。在Mitchell的书中也提到EM可以用于贝叶斯网络中。下面主要介绍EM的整个推导过程。...原创 2012-11-13 11:37:33 · 88 阅读 · 0 评论 -
数学在机器学习中的作用
参考: http://miaochen314.blog.163.com/blog/static/869642200941891651899/?fromdm&fromSearch&isFromSearchEngine=yes Linear Algebra (线性代数) 和 Statistics (统计学) 是最重要和不可缺少的。这代表了Machine Learning中最主流...原创 2012-08-16 09:22:19 · 128 阅读 · 0 评论 -
深度学习(Deep Learning)综述
深度学习(Deep Learning)综述Comments from Xinwei: 本文是从deeplearning网站上翻译的另一篇综述,主要简述了一些论文、算法已经工具箱。 深度学习是ML研究中的一个新的领域,它被引入到ML中使ML更接近于其原始的目标:AI。查看a brief introduction to Machine Learning for AI 和 an intro...原创 2012-11-26 12:59:57 · 163 阅读 · 0 评论 -
经典的机器学习方面源代码库(非常全,数据挖掘,计算机视觉,模式识别,信息检索相关领域都适用的了)...
编程语言:搞实验个人认为当然matlab最灵活了(但是正版很贵),但是更为前途的是python(numpy+scipy+matplotlib)和C/C++,这样组合既可搞研究,也可搞商业开发,易用性不比matlab差,功能组合更为强大,个人认为,当然R和java也不错.1.机器学习开源软件网(收录了各种机器学习的各种编程语言学术与商业的开源软件)http://mloss.org2...原创 2012-12-28 12:27:27 · 142 阅读 · 0 评论 -
机器学习——深度学习(Deep Learning)
转自:http://blog.csdn.net/abcjennifer/article/details/7826917Deep Learning是机器学习中一个非常接近AI的领域,其动机在于建立、模拟人脑进行分析学习的神经网络,最近研究了机器学习中一些深度学习的相关知识,本文给出一些很有用的资料和心得。Key Words:有监督学习与无监督学习,分类转载 2013-07-01 21:40:55 · 727 阅读 · 0 评论 -
随机模拟的基本思想和常用采样方法(sampling)
转自:http://blog.csdn.net/xianlingmao/article/details/7768833通常,我们会遇到很多问题无法用分析的方法来求得精确解,例如由于式子特别,真的解不出来;一般遇到这种情况,人们经常会采用一些方法去得到近似解(越逼近精确解越好,当然如果一个近似算法与精确解的接近程度能够通过一个式子来衡量或者有上下界,那么这种近似算法比较好转载 2013-06-19 21:49:31 · 1020 阅读 · 0 评论 -
神经网络(Neural Network)的表示
转自:http://blog.csdn.net/usingnamespace_std/article/details/8936209 上一讲讲了如何用逻辑回归来解决分类问题,如果在两个类多维线性不可分的情况下,可以通过添加多项式项把向量投影到高维空间使得它线性可分。但这也存在一个问题,就是当选取的特征很多的时候,featurevector可能高达几千维,这就是维数爆炸的问转载 2013-05-16 21:24:18 · 890 阅读 · 0 评论 -
Deep learning:十二(PCA和whitening在二自然图像中的练习)
转自:http://www.cnblogs.com/tornadomeet/archive/2013/03/22/2975456.html前言: 现在来用PCA,PCA Whitening对自然图像进行处理。这些理论知识参考前面的博文:Deep learning:十(PCA和whitening)。而本次试验的数据,步骤,要求等参考网页:http://deeplearning.转载 2013-05-07 19:19:59 · 671 阅读 · 0 评论 -
PCA算法学习_2(PCA理论的matlab实现)
转自:http://www.cnblogs.com/tornadomeet/archive/2012/12/30/2839615.html 前言 在前面的博文PCA算法学习_1(OpenCV中PCA实现人脸降维)中已经初步介绍了PCA算法的大概流程及在人脸降维上面的应用。本文就进一步介绍下其理论基础和matlab的实现(也是网上学者的代码)。 开发环境:Ma转载 2013-05-09 17:59:39 · 890 阅读 · 0 评论 -
LDA-math-MCMC 和 Gibbs Sampling
转自:http://www.52nlp.cn/lda-math-mcmc-和-gibbs-sampling13 LDA-math-MCMC 和 Gibbs Sampling3.1 随机模拟随机模拟(或者统计模拟)方法有一个很酷的别名是蒙特卡罗方法(Monte Carlo Simulation)。这个方法的发展始于20世纪40年代,和原子弹制造的曼哈顿计划密切相关,当时的几个大转载 2013-05-09 15:56:57 · 1000 阅读 · 0 评论 -
无监督学习特征--稀疏编码、深度学习、ICA部分代表文献
转自:http://blog.csdn.net/zhoutongchi/article/details/8191991学习映射函数及在行为识别/图像分类中应用的文献(模型与非模型之间存在关联,算法相互采用,没有明确的区分,含仿生学文献)% 研究重点放到ICA模型及深度学习兼顾稀疏编码1)稀疏编码(稀疏编码、自动编码、递归编码):[1] B. Olshau转载 2013-05-15 13:02:23 · 1094 阅读 · 0 评论 -
从自联想神经网络到深度神经网络
转自:http://blog.csdn.net/celerychen2009/article/details/9079715深度神经网路已经在语音识别,图像识别等领域取得前所未有的成功。本人在多年之前也曾接触过神经网络。本系列文章主要记录自己对深度神经网络的一些学习心得。第六篇,简要描述深度神经网络模型。1. 自联想转载 2013-06-12 19:12:20 · 1140 阅读 · 0 评论 -
一些重要的核函数-Kernel Function
http://blog.sina.com.cn/s/blog_6d979ba00100qpxm.html010/2292.htmlFunction" title="收集一下核函数-Kernel Function" style="margin:0px; padding:0px; border:0px; list-style:none">Kernel Fun转载 2013-06-18 01:00:19 · 932 阅读 · 0 评论 -
Sparsity and Some Basics of L1 Regularization
转自:http://freemind.pluskid.org/machine-learning/sparsity-and-some-basics-of-l1-regularization/Sparsity 是当今机器学习领域中的一个重要话题。John Lafferty 和 Larry Wasserman 在 2006 年的一篇评论中提到:Some current cha转载 2013-06-19 10:38:27 · 772 阅读 · 0 评论 -
卷积神经网络(Convolutional Neural Network)总结
转自:http://blog.sina.com.cn/s/blog_870a639201019pee.html相关网站:CNNs应用的最成功的一个例子:Yann LeCun(曾经是Hinton组的research associate)http://yann.lecun.com/exdb/lenet/index.htmlcode project上的一个C+转载 2013-06-18 23:00:07 · 1869 阅读 · 0 评论 -
计算机视觉代码合集
参考:http://blog.sciencenet.cn/blog-722391-569547.html UIUC的Jia-Bin Huang同学收集了很多计算机视觉方面的代码,链接如下:https://netfiles.uiuc.edu/jbhuang1/www/resources/vision/index.html 这些代码很实用,可以让我们站在巨人的肩膀上~~ ...原创 2013-01-30 10:50:15 · 162 阅读 · 0 评论