ML
关注
分享
扫一扫
文章平均质量分 79
wangran51
这个作者很懒，什么都没留下…
展开
-
人工智能——归结演绎推理
人工智能——归结演绎推理1.子句1)文字：原子谓词及其否定定义1:任何文字的析取式称为子句定义2：不包含任何文字的子句称为空子句，子句是永假的 2) 由子句构成的集合称为子句集，谓词公式成子句集的步骤a) 利用等价关系消去谓词公式中的、 b) 利用下列等价关系把“”移到紧靠谓词的位置上 c) 重新...2011-10-26 09:46:00 · 1222 阅读 · 0 评论 -
LDA
关键所在：it posits that each document is a mixture of a small number of topics and that each word's creation is attributable to one of the document's topics。将文档看成是一组主题的混合，词有分配到每个主题的概率。Probabilistic l...2012-03-27 10:44:00 · 188 阅读 · 0 评论 -
Simple Introduction to Dirichlet Process
http://hi.baidu.com/zcfeiyu123/blog/item/c1fb38dad544ae275982dd97.html2012-03-27 10:50:00 · 83 阅读 · 0 评论 -
关于Latent Dirichlet Allocation及Hierarchical LDA模型的必读文章和相关代码
LDA和HLDA：（1）D. M. Blei, et al., "Latent Dirichlet allocation," Journal of Machine Learning Research, vol. 3, pp. 993-1022, 2003.（2）T. L. Griffiths and M. Steyvers, "Finding scientific topics," Proceed...2012-03-27 11:07:00 · 173 阅读 · 0 评论 -
Latent dirichlet allocation note
2 Latent Dirichlet Allocation IntroductionLDA是给文本建模的一种方法，它属于生成模型。生成模型是指该模型可以随机生成可观测的数据，LDA可以随机生成一篇由N个主题组成文章。通过对文本的建模，我们可以对文本进行主题分类，判断相似度等。在90年代提出的LSA中，通过对向量空间进行降维，获得文本的潜在语义空间。在LDA中则是通过将文本映射到主题空...2012-03-29 18:55:00 · 164 阅读 · 0 评论 -
Latent semantic analysis note(LSA)
1 LSA IntroductionLSA(latent semantic analysis)潜在语义分析，也被称为LSI(latent semantic index)，是Scott Deerwester, Susan T. Dumais等人在1990年提出来的一种新的索引和检索方法。该方法和传统向量空间模型(vector space model)一样使用向量来表示词(terms)和...2012-03-29 18:58:00 · 500 阅读 · 0 评论 -
SVD奇异值分解
SVD分解SVD分解是LSA的数学基础，本文是我的LSA学习笔记的一部分，之所以单独拿出来，是因为SVD可以说是LSA的基础，要理解LSA必须了解SVD，因此将LSA笔记的SVD一节单独作为一篇文章。本节讨论SVD分解相关数学问题，一个分为3个部分，第一部分讨论线性代数中的一些基础知识，第二部分讨论SVD矩阵分解，第三部分讨论低阶近似。本节讨论的矩阵都是实数矩阵。基础知识1. 矩阵...2012-03-29 18:59:00 · 120 阅读 · 0 评论 -
伽马贝塔函数
在数理方程、概率论等学科经常遇到以下的含参变量的积分，它们依次为第一类和第二类欧拉（Euler 1707~1783瑞士数学家）积分，或依次称为贝塔（Bata）函数和伽马（Gamma）函数，这一节主要讨论这两个函数的若干性质。11.3.1伽马函数显然，我们应首先考虑伽马函数（3.1）的收敛问题。式（3.1）右端的积分不仅是一个无穷积分，而且当时，还是被积函数的一个瑕点。为此...2012-03-31 12:34:00 · 2292 阅读 · 0 评论 -
BookList
[收藏]最近看到的机器学习、NLP相关书单2013年04月01日⁄读书⁄ 共 310字 ⁄评论数 3⁄ 被围观 557 阅读+书单再多，不去读，也是白搭~~水木上的machine learning书单：http://www.newsmth.net/bbscon.php?bid=5&id=34859&ftype=11weibo上@王威廉最近有...2013-04-19 10:18:00 · 146 阅读 · 0 评论 -
Logistic回归
转自别处有很多与此类似的文章也不知道谁是原创 因原文由少于错误 所以下文对此有修改并且做了适当的重点标记(横线见的内容没大明白 并且有些复杂，后面的运行流程依据前面的得出的算子进行分类) 初步接触谓LR分类器(Logistic Regression Classifier)，并没有什么神秘的。在分类的情形下，经过学习之后的LR分类器其实就是一组权值w0,w1,...,wm. 当测试样本...2013-05-06 22:52:00 · 1484 阅读 · 1 评论 -
机器学习博客
http://www.cnblogs.com/jmp0xf/2013-05-22 10:05:00 · 102 阅读 · 0 评论 -
SVM特点
本文转自牛牛草堂SVM有如下主要几个特点：(1)非线性映射是SVM方法的理论基础,SVM利用内积核函数代替向高维空间的非线性映射；(2)对特征空间划分的最优超平面是SVM的目标,最大化分类边际的思想是SVM方法的核心；(3)支持向量是SVM的训练结果,在SVM分类决策中起决定作用的是支持向量。(4)SVM 是一种有坚实理论基础的新颖的小样本学习方法。它基本上不涉及概率测度及大数定律等,因此不同于现...2013-05-22 10:17:00 · 186 阅读 · 0 评论 -
聚类Introducion
http://blog.sina.com.cn/s/blog_6002b97001014nja.html4、聚类聚类分析提供由个别数据对象到数据对象所指派到簇的抽象。此外，一些聚类技术使用簇原型（即代表簇中其他对象的数据对象）来刻画簇的特征。聚类分析是研究发现最具有代表性的簇原型的技术。回归和PCA的时间复杂度都是O(m2)。注意：簇的定义是不精确的，而最好的定义依赖于数据的特征和期望...2013-05-27 17:17:00 · 614 阅读 · 0 评论 -
狄拉克δ函数(Dirac Delta function)
PS：狄拉克δ函数(Dirac Delta function)又称单位脉冲函数。通常用δ表示。在概念上，它是这么一个“函数”：在除了零以外的点都等于零，而其在整个定义域上的积分等于1。严格来说狄拉克δ函数不能算是一个函数，因为满足以上条件的函数是不存在的。但可以用分布的概念来解释，称为狄拉克δ分布，或δ分布，但与费米-狄拉克分布是两回事。在广义函数论里也可以找到δ函数的解释，此时δ作为一个极...2012-04-19 14:07:00 · 1441 阅读 · 0 评论 -
IR领域标准
信息检索评价是对信息检索系统性能（主要满足用户信息需求的能力）进行评估的活动。通过评估可以评价不同技术的优劣，不同因素对系统的影响，从而促进本领域研究水平的不断提高。信息检索系统的目标是较少消耗情况下尽快、全面返回准确的结果。IR的评价指标，通常分为三个方面： （1）效率(Efficiency)—可以采用通常的评价方法：时间开销、空间开销、响应速度。 （2）效果(Effectiveness)...2013-06-03 16:03:00 · 191 阅读 · 0 评论 -
Entropy推导
信息论<wbr><wbr><wbr>信息</wbr></wbr></wbr>是关于事物的运动状态和规律的认识，它可以脱离具体的事物而被摄取、传输、存贮、处理和变换。<wbr><wbr><strong>信息论</strong>2013-06-13 23:34:00 · 231 阅读 · 0 评论 -
基于libsvm的中文文本分类原型
支持向量机(Support Vector Machine)是Cortes和Vapnik于1995年首先提出的，它在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中。支持向量机方法是建立在统计学习理论的VC 维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性（即对特定训练样本的学习精度，Accuracy）和学习能力（即无错误地识别...2012-12-28 10:21:00 · 173 阅读 · 0 评论 -
EasyToLife的博客
http://www.cnblogs.com/LeftNotEasy/2013-01-09 11:48:00 · 96 阅读 · 0 评论 -
基本文本聚类方法
转自：http://hi.baidu.com/yaomohan/blog/item/e7b1c2c2516638110ef477cc.html经过N天的努力,我的第一个文本聚类小程序终于火热出炉了.真不容易啊,在网上看了很多程序才明白其中的核心原理。其实原理很简单,但这个程序最麻烦的是 一些细节,比如字符串的处理还有用什么样的数据结构来存储数据等等,这些才是最麻烦的。下面我会详细...2012-03-22 10:52:00 · 1044 阅读 · 0 评论 -
Latent dirichlet allocation note -- Prepare
转自莘莘学子blog ：http://ljm426.blog.163.com/blog/static/120003220098110425415/By: Zhou, Blog:http://foreveralbum.yo2.cn 1 基础知识1.1 贝叶斯统计假设有两个箱子，每个箱子装了8个球，A箱子3个红球5个白球，B箱子6个红球2个白球。如果问从A箱子摸出一个红球的概率，...2012-03-21 10:29:00 · 106 阅读 · 0 评论 -
决策树ID3算法
http://leon-a.javaeye.com/blog/178585 1．背景知识： 决策树是对数据进行分类，以此达到预测的目的。该决策树方法先根据训练集数据形成决策树，如果该树不能对所有对象给出正确的分类，那么选择一些例外加入到 训练集数据中，重复该过程一直到形成正确的决策集。决策树代表着决策集的树形结构。 决策树由决策结点、分支和叶子组成。决策树中最上面的结点为根结点，每个分支...2012-01-25 21:07:00 · 205 阅读 · 0 评论 -
Entropy
相对熵（relative entropy）又称为KL散度（Kullback–Leibler divergence，简称KLD），信息散度（information divergence），信息增益（informationgain）。 KL散度是两个概率分布P和Q差别的非对称性的度量。 KL散度是用来度量使用基于Q的编码来编码来自P的样本平均所需的额外的比特个数。典型情况下，P表示数据的真实分...2012-05-18 09:43:00 · 223 阅读 · 0 评论 -
准确率召回率
http://blog.sina.com.cn/s/blog_4b59de070100ehl7.html最近一直在做相关推荐方面的研究与应用工作，召回率与准确率这两个概念偶尔会遇到，知道意思，但是有时候要很清晰地向同学介绍则有点转不过弯来。 召回率和准确率是数据挖掘中预测、互联网中的搜索引擎等经常涉及的两个概念和指标。 召回率：Recall，又称“查全率”——还是查全率好记，也更能体现其...2012-05-18 10:13:00 · 1138 阅读 · 0 评论 -
隐马尔科夫模型HMM自学 （2）
HMM 定义崔晓源 翻译HMM是一个三元组 (,A,B).the vector of the initial state probabilities;the state transition matrix;the confusion matrix;这其中，所有的状态转移概率和混淆概率在整个系统中都是一成不变的。这也是HMM中最不切实际的假设。HMM的应用有三...2012-05-22 17:04:00 · 151 阅读 · 0 评论 -
隐马尔科夫模型HMM自学 （3）
Viterbi Algorithm本来想明天再把后面的部分写好，可是睡觉今天是节日呢？一时情不自禁就有打开电脑..........找到可能性最大的隐含状态序列崔晓源 翻译多数情况下，我们都希望能够根据一个给定的HMM模型，根据观察状态序列找到产生这一序列的潜在的隐含状态序列。1、穷举搜索方法我们可以通过穷举的方式列出所有可能隐含状态序列，并算出每一种隐状态序列组合...2012-05-22 17:06:00 · 142 阅读 · 0 评论 -
Boosting for PRML
Boosting方法：Boosting这其实思想相当的简单，大概是，对一份数据，建立M个模型（比如分类），一般这种模型比较简单，称为弱分类器(weak learner)每次分类都将上一次分错的数据权重提高一点再进行分类，这样最终得到的分类器在测试数据与训练数据上都可以得到比较好的成绩。上图（图片来自prml p660）就是一个Boosting的过程，绿色的线表示目前取得的模型（模型是...2012-05-26 13:24:00 · 138 阅读 · 0 评论 -
Adaboost
3.1.2 AdaBoost算法原理AdaBoost算法针对不同的训练集训练同一个基本分类器（弱分类器），然后把这些在不同训练集上得到的分类器集合起来，构成一个更强的最终的分类器（强分类器）。理论证明，只要每个弱分类器分类能力比随机猜测要好，当其个数趋向于无穷个数时，强分类器的错误率将趋向于零。AdaBoost算法中不同的训练集是通过调整每个样本对应的权重实现的。最开始的时候，每个样本对应的...2012-05-26 13:26:00 · 90 阅读 · 0 评论 -
Adaboost from Baidu
http://www.doc88.com/p-74284867720.html boost一篇不错的ppt一、Boosting算法的发展历史 Boosting算法是一种把若干个分类器整合为一个分类器的方法，在boosting算法产生之前，还出现过两种比较重要的将多个分类器整合为一个分类器的方法，即boostrapping方法和bagging方法。我们先简要介绍一下bootstrapp...2012-05-26 13:28:00 · 86 阅读 · 0 评论 -
Karush-Kuhn-Tucker 最优化条件 (KKT 条件)(转载)
一般地，一个最优化数学模型能够表示成下列标准形式：所谓 Karush-Kuhn-Tucker 最优化条件，就是指上式的最小点x*必须满足下面的条件：KKT最优化条件是Karush[1939]以及Kuhn和Tucker[1951]先后独立发表出來的。这组最优化条件在Kuhn和Tucker发表之后才逐渐受到重视，因此许多书只记载成「Kuhn-Tucker 最优化条件 (Kuhn...2012-02-04 23:37:00 · 298 阅读 · 0 评论 -
拉格朗日 SVM KKT
在Ｒ中使用支持向量机(SVM)（１）1. 线性ＳＶＭ 假设有分布在Rd空间中的数据，我们希望能够在该空间上找出一个超平面(Hyper-pan),将这一数据分成两类。属于这一类的数据均在超平面的同侧，而属于另一类的数据均在超平面的另一侧。如下图。 比较上图，我们可以发现左图所找出的超平面（虚线），其两平行且与两类数据相切的超平面（实线）之间的距离较近，而右图则具有较大的间...2012-02-04 23:39:00 · 187 阅读 · 0 评论 -
SVM中的Karush-Kuhn-Tucker条件和对偶问题
因为这里公式编辑不方便，为求严谨，写在word上截图，图片边缘缺失的字，下面补上。需要满足的条件。线性组合。两个拉格朗日乘子不同的地方在于条件也是KKT条件之一。可以直接套用二次规划。如果反过来，如何将对偶式对偶回原来的目标式？ ...2012-02-04 23:47:00 · 100 阅读 · 0 评论 -
求置信区间
英文为：binomial proportion confidence interval一．正态近似——最常见和常用的 它的英文名：normal approximation interval.此公式适用于二项分布的大样本。是否为大样本的一个近似的必要的条件是：这个区间应完全在（0，1）区间之内。对公式的更多了解：http://en.wikipedia.org/...2012-02-20 11:17:00 · 822 阅读 · 0 评论 -
EM Alogrithm
EM算法 所谓EM算法，指的是就是Expect-Maximum算法，是一种非常有用的算法。假设这么一个问题，我们有一堆样本集合X，我们已知该样本总体的分布类型（比如是高斯分布），但是我们不知道这个分布的参数具体是多少，我们希望有方法能够根据这些观测到的样本集合来估计出这个分布的参数。怎么办呢？于是就有了极大似然估计，该方法思路很简单，计算出这些样本出现的分布概率公式，该公式肯定...2012-07-03 11:08:00 · 171 阅读 · 0 评论 -
Normalized Cut
MATLAB Normalized Cuts Segmentation CodeThis software is made publicly for research use only. It may be modified and redistributed under the terms of theGNU General Public License.Linear time Mul...2012-07-10 22:33:00 · 418 阅读 · 0 评论 -
学习SVM
【转载请注明出处】http://www.cnblogs.com/jerrylead 1 简介支持向量机基本上是最好的有监督学习算法了。最开始接触SVM是去年暑假的时候，老师要求交《统计学习理论》的报告，那时去网上下了一份入门教程，里面讲的很通俗，当时只是大致了解了一些相关概念。这次斯坦福提供的学习材料，让我重新学习了一些SVM知识。我看很多正统的讲法都是从VC 维理论和结构风...2012-03-14 22:10:00 · 197 阅读 · 0 评论 -
EM算法
（EM算法）The EM AlgorithmEM是我一直想深入学习的算法之一，第一次听说是在NLP课中的HMM那一节，为了解决HMM的参数估计问题，使用了EM算法。在之后的MT中的词对齐中也用到了。在Mitchell的书中也提到EM可以用于贝叶斯网络中。下面主要介绍EM的整个推导过程。1. Jensen不等式回顾优化理论中的一些概念。设f是定义域为实数的函数，如果对于所有...2012-03-14 22:11:00 · 192 阅读 · 0 评论 -
EM index
http://www.cnblogs.com/rocketfan2012-07-17 14:57:00 · 168 阅读 · 0 评论 -
DeepLearning索引
50课：http://www.cnblogs.com/tornadomeet/tag/Deep%20Learning/default.html?page=3 7课简介：http://blog.csdn.net/zouxy09/article/details/8781396 Andrew Ng Turtorialhttp://deeplearning.stanford.e...原创 2017-03-06 16:14:24 · 390 阅读 · 0 评论