Machine Learning
文章平均质量分 92
LuLuLee
这个作者很懒,什么都没留下…
展开
-
奇异值分解SVD应用——LSI
潜在语义索引(Latent Semantic Indexing)是一个严重依赖于SVD的算法,本文转载自之前吴军老师《数学之美》和参考文献《机器学习中的数学》汇总。————————————在自然语言处理中,最常见的两类的分类问题分别是,将文本按主题归类(比如将所有介绍亚运会的新闻归到体育类)和将词汇表中的字词按意思归类(比如将各种体育运动的名称个归成一类)。这两种分类问题都可用通过转载 2014-04-06 10:16:15 · 536 阅读 · 0 评论 -
Learning Theory
机器学习理论帝国崛起,大数定理军团功不可没,称之为军团毫不夸张,在前军先锋强大数定理和副将弱大数定理后面,是铠甲上刻着“Concentration of Measure”的古老印记的战士们,不妨暂且忽略他们之间乱七八糟的“血缘”关系,而罗列一些名字:Chebyshev 不等式、 Markov 不等式、 Bernstein 不等式、 Hoeffding 不等式、 McDiarmid 不等转载 2014-04-19 09:43:12 · 537 阅读 · 0 评论 -
Implementing a Principal Component Analysis (PCA) in Python step by step
Tweet In this article I want to explain how a Principal Component Analysis (PCA) works by implementing it in Python step by step. At the end we will compare the results to the more convenient Py转载 2014-04-19 10:59:56 · 1044 阅读 · 0 评论 -
Latent Dirichlet Allocation(LDA)
变量:w表示词,z表示主题,w=(w1,w2,⋯,wN)表示文档,语料库D=(w1,⋯,wM),V表示所有单词的个数(固定值),N表示一个文档中的词数(随机变量),M是语料库中的文档数(固定值),k是主题的个数(预先给定,固定值)。 在说明LDA模型之前,先介绍几个简单一些的模型。1.Unigram model:文档w=(w1,w2,⋯,wN),用p(wn)转载 2014-05-05 20:15:08 · 2432 阅读 · 0 评论 -
利用中文数据跑Google开源项目word2vec
一直听说word2vec在处理词与词的相似度的问题上效果十分好,最近自己也上手跑了跑Google开源的代码(https://code.google.com/p/word2vec/)。1、语料首先准备数据:采用网上博客上推荐的全网新闻数据(SogouCA),大小为2.1G。 从ftp上下载数据包SogouCA.tar.gz:1 wget ftp://ftp.l转载 2014-05-05 17:17:25 · 1195 阅读 · 0 评论 -
Learning Theory
我想如今机器学习 (Machine Learning) 的重要性(不论是在学术界还是在工业界)已经不用再多强调了,比如说 2010 年的图灵奖得主 Leslie Valiant 就是学习理论 (Learning Theory) 的一位先驱大牛,正是他提出了“可能近似正确” (Probably Approximately Correct, PAC) 模型——每次念一念 PAC 的中文翻译就觉得好转载 2014-04-18 20:28:54 · 715 阅读 · 0 评论 -
人工智能书籍
第一个是“人工智能的历史”(History of Artificial Intelligence), 顺着 AI 发展时间线娓娓道来,中间穿插无数牛人故事,且一波三折大气磅礴,可谓"事实比想象更令人惊讶"。人工智能始于哲学思辨,中间经历了一个没有心理学(尤其是认知神经科学的)的帮助的阶段,仅通过牛人对人类思维的外在表现的归纳、内省,以及数学工具进行探索,其间最令人激动的是 Herber转载 2014-03-29 09:37:36 · 810 阅读 · 0 评论 -
VC维
有关于VC维可以在很多机器学习的理论中见到,它是一个重要的概念。在读《神经网络原理》的时候对一个实例不是很明白,通过这段时间观看斯坦福的机器学习公开课及相关补充材料,又参考了一些网络上的资料(主要是这篇,不过个人感觉仍然没有抓住重点),重新思考了一下,终于理解了这个定义所要传达的思想。 先要介绍分散(shatter)的概念:对于一个给定集合S={x1, ... ,xd},如果一个假设类H转载 2014-03-29 09:13:45 · 580 阅读 · 0 评论 -
Andrew ng清华报告听后感
Andrew ng今天来清华作报告,我就几点重要的内容,谈谈理解和想法。 1)特征表示的粒度 学习算法在一个什么粒度上的特征表示,才有能发挥作用?就一个图片来说,像素级的特征根本没有价值,无法进行摩托车正例和负例的区分,而如果特征是一个具有结构性(或者说有含义)的时候,比如是否具有handlebars,是否具有wheel,就很容易把正例和负例区分,学习算法才能发挥转载 2014-04-25 11:00:58 · 643 阅读 · 0 评论 -
semi-supervised learning
最近的一段时间一直在学习半监督学习算法,目前,国内的南京大学周志华老师是这方面的泰斗,写了很多这方面牛的文章,可以参考一下他的主页:http://cs.nju.edu.cn/zhouzh/。在国内的学术界周老师一直是我比较钦佩的人之一。下面贴出来的文章出自周老师之手,通俗易懂。受益匪浅。。1. 引言 在传统的监督学习中,学习器通过对大量有标记的(labeled)训练例进行转载 2014-05-19 11:04:26 · 587 阅读 · 0 评论 -
机器学习中的范数规则化之(二)核范数与规则项参数选择
上一篇博文,我们聊到了L0,L1和L2范数,这篇我们絮叨絮叨下核范数和规则项参数选择。知识有限,以下都是我一些浅显的看法,如果理解存在错误,希望大家不吝指正。谢谢。 三、核范数 核范数||W||*是指矩阵奇异值的和,英文称呼叫Nuclear Norm。这个相对于上面火热的L1和L2来说,可能大家就会陌生点。那它是干嘛用的呢?霸气登场:约束Low-Rank(低秩)转载 2014-11-28 23:14:43 · 583 阅读 · 0 评论 -
机器学习中的范数规则化之(一)L0、L1与L2范数
今天我们聊聊机器学习中出现的非常频繁的问题:过拟合与规则化。我们先简单的来理解下常用的L0、L1、L2和核范数规则化。最后聊下规则化项参数的选择问题。这里因为篇幅比较庞大,为了不吓到大家,我将这个五个部分分成两篇博文。知识有限,以下都是我一些浅显的看法,如果理解存在错误,希望大家不吝指正。谢谢。 监督机器学习问题无非就是“minimizeyour error whil转载 2014-11-28 23:11:39 · 493 阅读 · 0 评论 -
Discover Feature Engineering, How to Engineer Features and How to Get Good at It
Feature engineering is an informal topic, but one that is absolutely known and agreed to be key to success in applied machine learning.In creating this guide I went wide and deep and synthesized a转载 2014-10-10 22:41:32 · 883 阅读 · 0 评论 -
Building a Production Machine Learning Infrastructure
Building a Production Machine Learning Infrastructureby Jasonb on October 8, 2014 in big data, Industrial Machine Learning748974Midwest.io is was a conference in转载 2014-10-10 22:40:17 · 640 阅读 · 0 评论 -
准确率与召回率
在信息检索、分类体系中,有一系列的指标,搞清楚这些指标对于评价检索和分类性能非常重要,因此最近根据网友的博客做了一个汇总。准确率、召回率、F1信息检索、分类、识别、翻译等领域两个最基本指标是召回率(Recall Rate)和准确率(Precision Rate),召回率也叫查全率,准确率也叫查准率,概念公式: 召回率(Recall) =转载 2014-10-06 14:00:15 · 499 阅读 · 0 评论 -
SMO序列最小最优化算法
首先回顾一下SVM模型的数学表达,即svm的对偶问题:mina12∑i=1N∑j=1NaiajyiyjK(xi,xj)−∑i=1Nais.t.∑i=1Naiyi=00≤ai≤C,i=1,2,⋅⋅⋅,N选择一个 a∗ 的正分量 0a∗jC , 计算(或者通过所有解求平均值):b∗=yj−∑i=1Na∗iyiK(xi⋅xj)决策函数为f(x)=sign(∑i转载 2014-05-25 19:55:07 · 2797 阅读 · 0 评论 -
机器学习常用工具
Support Vector MachineSVMlightAn implementation of Vapnik's Support Vector MachineLIBSVMA Library for Support Vector MachinesDecision TreeC4.5The "classic" decision-tree tool转载 2014-03-04 16:54:39 · 800 阅读 · 0 评论 -
机器学习小结
1. 认真学习一个机器学习工具箱(如R, SHOGUN,Weka, scikit-learn)。2. 认真分析一个机器学习数据集。3. 深入了解一个机器学习算法。4. 亲自实现一个机器学习算法。原创 2014-03-04 16:56:42 · 621 阅读 · 1 评论 -
Deep Learning(深度学习)学习笔记整理系列之(五)
Deep Learning(深度学习)学习笔记整理系列[email protected]://blog.csdn.net/zouxy09作者:Zouxyversion 1.0 2013-04-08声明:1)该Deep Learning的学习系列是整理自网上很大牛和机器学习专家所无私奉献的资料的。具体引用的资料请看参考文献。具体的版本声明也参转载 2014-02-23 19:49:43 · 829 阅读 · 0 评论 -
naive bayes
原创 2013-12-09 14:29:06 · 501 阅读 · 0 评论 -
SVM笔记
原创 2013-12-08 18:39:16 · 471 阅读 · 0 评论 -
EM算法
EM是我一直想深入学习的算法之一,第一次听说是在NLP课中的HMM那一节,为了解决HMM的参数估计问题,使用了EM算法。在之后的MT中的词对齐中也用到了。在Mitchell的书中也提到EM可以用于贝叶斯网络中。下面主要介绍EM的整个推导过程。1. Jensen不等式 回顾优化理论中的一些概念。设f是定义域为实数的函数,如果对于所有的实数x,,那么f是凸函数。当x是转载 2013-12-08 22:06:50 · 518 阅读 · 0 评论 -
GMM的EM算法实现
上一次我们谈到了用 k-means 进行聚类的方法,这次我们来说一下另一个很流行的算法:Gaussian Mixture Model (GMM)。事实上,GMM 和 k-means 很像,不过 GMM 是学习出一些概率密度函数来(所以 GMM 除了用在 clustering 上之外,还经常被用于 density estimation ),简单地说,k-means 的结果是每个数据点被 assi转载 2013-12-08 22:05:48 · 885 阅读 · 0 评论 -
聚类
第九讲. 聚类——Clustering===============================(一)、什么是无监督学习?(二)、KMeans聚类算法(三)、Cluster问题的(distortion)cost function(四)、如何选择初始化时的类中心(五)、聚类个数的选择=======转载 2013-12-08 10:31:57 · 805 阅读 · 1 评论 -
第三讲. 逻辑回归和过拟合问题的解决 logistic Regression & Regularization
第三讲-------Logistic Regression & Regularization本讲内容:Logistic Regression=========================(一)、Classification(二)、Hypothesis Representation(三)、Decision Boundary(四)转载 2013-11-11 11:26:39 · 1539 阅读 · 0 评论 -
第二讲-------多变量线性回归 Linear Regression with multiple variables
(一)、Multiple Features:多变量假设:输出由多维输入决定,即输入为多维特征。如下图所示:Price为输出,前面四维为输入:假设h(x)=θ0+θ1x1+……所谓多参数线性回归即每个输入x有(n+1)维[x0……xn](二)、Gradient Descent for Multiple转载 2013-11-11 10:03:45 · 915 阅读 · 0 评论 -
数据降维
第十讲. 降维——Dimensionality Reduction===============================(一)、为什么要降维?(二)、主成分分析Principal Component Analysis (PCA) (三)、PCA 算法流程(四)、从压缩数据中恢复原数据(五)、怎样决定降维个数/主成分个数转载 2013-12-08 11:35:55 · 1096 阅读 · 0 评论 -
Deep Learning(深度学习)学习笔记整理系列之(六)
Deep Learning(深度学习)学习笔记整理系列[email protected]://blog.csdn.net/zouxy09作者:Zouxyversion 1.0 2013-04-08声明:1)该Deep Learning的学习系列是整理自网上很大牛和机器学习专家所无私奉献的资料的。具体引用的资料请看参考文献。具体的版本声明也参转载 2014-02-23 20:12:16 · 793 阅读 · 0 评论 -
Deep Learning(深度学习)学习笔记整理系列之(四)
Deep Learning(深度学习)学习笔记整理系列[email protected]://blog.csdn.net/zouxy09作者:Zouxyversion 1.0 2013-04-08声明:1)该Deep Learning的学习系列是整理自网上很大牛和机器学习专家所无私奉献的资料的。具体引用的资料请看参考文献。具体的版本声明也参转载 2014-02-23 16:12:48 · 1041 阅读 · 0 评论 -
Deep Learning(深度学习)学习笔记整理系列之(二)
Deep Learning(深度学习)学习笔记整理系列[email protected]://blog.csdn.net/zouxy09作者:Zouxyversion 1.0 2013-04-08声明:1)该Deep Learning的学习系列是整理自网上很大牛和机器学习专家所无私奉献的资料的。具体引用的资料请看参考文献。具体的版本声明也参转载 2014-02-23 13:53:46 · 724 阅读 · 0 评论 -
Deep Learning(深度学习)学习笔记整理系列之(三)
Deep Learning(深度学习)学习笔记整理系列[email protected]://blog.csdn.net/zouxy09作者:Zouxyversion 1.0 2013-04-08声明:1)该Deep Learning的学习系列是整理自网上很大牛和机器学习专家所无私奉献的资料的。具体引用的资料请看参考文献。具体的版本声明也参转载 2014-02-23 13:54:38 · 832 阅读 · 0 评论 -
Deep Learning(深度学习)学习笔记整理系列之(一)
Deep Learning(深度学习)学习笔记整理系列[email protected]://blog.csdn.net/zouxy09作者:Zouxyversion 1.0 2013-04-08 声明:1)该Deep Learning的学习系列是整理自网上很大牛和机器学习专家所无私奉献的资料的。具体引用的资料请看参考文献。具体的版本声明转载 2014-02-23 13:52:12 · 1514 阅读 · 0 评论 -
Karhunen-Loeve Transform (KLT) 原理及PCA应用
Karhunen-Loeve Transform(KLT)是一种数据变换与分析方式,常用于数据压缩和PCA降维。1. KLT是什么变换,KLT的目的是什么?KLT是对向量x做的一个正交变换y=Φx,目的是变换到y后去除数据相关性。PS:其中,Φ是x特征向量组成的矩阵,满足ΦTΦ=I,当x都是实数时,Φ是正交矩阵。转载 2013-12-09 13:53:52 · 787 阅读 · 0 评论 -
第一章-------单参数线性回归 Linear Regression with one variable
第一章-------单参数线性回归 Linear Regression with one variable(一)、Cost Function线性回归是给出一系列点假设拟合直线为h(x)=theta0+theta1*x, 记Cost Function为J(theta0,theta1)之所以说单参数是因为只有一个变量x,即影响回归参数θ1,θ0的是一维变量,或者说输转载 2013-11-11 09:19:50 · 981 阅读 · 0 评论