机器学习
文章平均质量分 66
娃哈哈纯净李
这个作者很懒,什么都没留下…
展开
-
Coursera台大机器学习基础课程学习笔记1 -- 机器学习定义及PLA算法
转自:http://www.cnblogs.com/HappyAngel/p/3456762.html最近在跟台大的这个课程,觉得不错,想把学习笔记发出来跟大家分享下,有错误希望大家指正。一机器学习是什么? 感觉和 Tom M. Mitchell的定义几乎一致,A computer program is said to learn from ex转载 2014-12-19 15:12:44 · 633 阅读 · 0 评论 -
HMM学习最佳范例六:维特比算法
寻找最可能的隐藏状态序列(Finding most probable sequence of hidden states) 对于一个特殊的隐马尔科夫模型(HMM)及一个相应的观察序列,我们常常希望能找到生成此序列最可能的隐藏状态序列。1.穷举搜索 我们使用下面这张网格图片来形象化的说明隐藏状态和观察状态之间的关系: 我们可以通过列出所有可能的隐藏状态序列并原创 2015-02-06 11:52:16 · 1181 阅读 · 0 评论 -
HMM学习最佳范例一:介绍
隐马尔科夫模型(HMM)依然是读者访问“我爱自然语言处理”的一个热门相关关键词,我曾在《HMM学习最佳范例与崔晓源的博客》中介绍过国外的一个不错的HMM学习教程,并且国内崔晓源师兄有一个相应的翻译版本,不过这个版本比较简化和粗略,有些地方只是概况性的翻译了一下,省去了一些内容,所以从今天开始计划在52nlp上系统的重新翻译这个学习教程,希望对大家有点用。一、介绍(Introduction)转载 2015-02-06 11:44:41 · 464 阅读 · 0 评论 -
HMM学习最佳范例二:生成模式
二、生成模式(Generating Patterns)1、确定性模式(Deterministic Patterns) 考虑一套交通信号灯,灯的颜色变化序列依次是红色-红色/黄色-绿色-黄色-红色。这个序列可以作为一个状态机器,交通信号灯的不同状态都紧跟着上一个状态。 注意每一个状态都是唯一的依赖于前一个状态,所以,如果交通灯为绿色,那么下一个颜色状态将始终是黄色——转载 2015-02-06 11:45:31 · 488 阅读 · 0 评论 -
HMM学习最佳范例四:隐马尔科夫模型
四、隐马尔科夫模型(Hidden Markov Models)1、定义(Definition of a hidden Markov model) 一个隐马尔科夫模型是一个三元组(pi, A, B)。 :初始化概率向量; :状态转移矩阵; :混淆矩阵; 在状态转移矩阵及混淆矩阵中的每一个概率都是时间无关的——也就是说,当系统演化时这些矩阵并不随时间改变。实际上,转载 2015-02-06 11:47:55 · 547 阅读 · 0 评论 -
HMM学习最佳范例七:前向-后向算法
七、前向-后向算法(Forward-backward algorithm)根据观察序列生成隐马尔科夫模型(Generating a HMM from a sequence of obersvations) 与HMM模型相关的“有用”的问题是评估(前向算法)和解码(维特比算法)——它们一个被用来测量一个模型的相对适用性,另一个被用来推测模型隐藏的部分在做什么(“到底转载 2015-02-06 11:54:58 · 3190 阅读 · 0 评论 -
HMM学习最佳范例五:前向算法
1.穷举搜索( Exhaustive search for solution) 给定隐马尔科夫模型,也就是在模型参数(pi, A, B)已知的情况下,我们想找到观察序列的概率。还是考虑天气这个例子,我们有一个用来描述天气及与它密切相关的海藻湿度状态的隐马尔科夫模型(HMM),另外我们还有一个海藻的湿度状态观察序列。假设连续3天海藻湿度的观察结果是(干燥、湿润、湿透)——而这三天每一天都可能是转载 2015-02-06 11:49:19 · 1214 阅读 · 0 评论 -
HMM学习最佳范例八:总结
八、总结(Summary) 通常,模式并不是单独的出现,而是作为时间序列中的一个部分——这个过程有时候可以被辅助用来对它们进行识别。在基于时间的进程中,通常都会使用一些假设——一个最常用的假设是进程的状态只依赖于前面N个状态——这样我们就有了一个N阶马尔科夫模型。最简单的例子是N = 1。 存在很多例子,在这些例子中进程的状态(模式)是不能够被直接观察的,但是可以非直接地,或者概率原创 2015-02-06 11:57:14 · 509 阅读 · 0 评论 -
Expectation-Maximization(EM) 算法
111111111111111111转载 2015-02-10 20:18:16 · 638 阅读 · 0 评论 -
决策树中熵和信息增益的计算
转自:http://www.shellsec.com/tech/148694.html信息熵很亮的是在你知道一个事件的结果后,平均会带给你多大的信息量,当事件的不确定性越大,那么要搞清它所需要的信息量也就越大,也就是信息熵越大,是无序性,不确定性的度量指标。信息熵的计算:-p[i]logp[i],底数为2public static double calcEntropy(in转载 2015-01-05 15:12:40 · 2213 阅读 · 0 评论 -
HMM学习最佳范例三:隐藏模式
三、隐藏模式(Hidden Patterns)1、马尔科夫过程的局限性 在某些情况下,我们希望找到的模式用马尔科夫过程描述还显得不充分。回顾一下天气那个例子,一个隐士也许不能够直接获取到天气的观察情况,但是他有一些水藻。民间传说告诉我们水藻的状态与天气状态有一定的概率关系——天气和水藻的状态是紧密相关的。在这个例子中我们有两组状态,观察的状态(水藻的状态)和隐藏的状态(天气的状态)。转载 2015-02-06 11:47:20 · 548 阅读 · 0 评论 -
机器学习相关数据库(转)
KDD杯的中心,所有的数据,任务和结果。UCI机器学习和知识发现研究中使用的大型数据集KDD数据库存储库。UCI机器学习数据库。AWS(亚马逊网络服务)公共数据集,提供了一个集中的资料库,可以无缝集成到基于AWS的云应用程序的公共数据集。生物测定数据,在 虚拟筛选,生物测定数据,对化学信息学,J.由阿曼达Schierz的,有21个生物测定数据集(有效/无效的化合物)可供下载。加拿大开放数据,许多政转载 2014-12-29 18:37:41 · 471 阅读 · 0 评论 -
Coursera台大机器学习课程笔记3 – 机器学习的可能性
转自:http://www.cnblogs.com/HappyAngel/p/3495804.html提纲:机器学习为什么可能?引入计算橙球概率问题通过用Hoeffding's inequality解决上面的问题,并得出PAC的概念,证明采样数据学习到的h的错误率可以和全局一致是PAC的将得到的理论应用到机器学习,证明实际机器是可以学习 机器学习的转载 2014-12-20 16:16:52 · 640 阅读 · 0 评论 -
机器学习10大经典算法
转自:http://blog.csdn.net/braveheart89/article/details/8142383机器学习10大经典算法机器学习10大经典算法1、C4.5C4.5算法是机器学习算法中的一种分类决策树算法,其核心算法是ID3算法. C4.5算法继承了ID3算法的优点,并在以下几方面对ID3算法进行了改进: 1)用信息增益率来选择属性,克转载 2014-12-20 16:23:51 · 601 阅读 · 0 评论 -
Coursera台大机器学习基础课程学习笔记2 -- 机器学习的分类
转自:http://www.cnblogs.com/HappyAngel/p/3466527.html总体思路:各种类型的机器学习分类按照输出空间类型分Y按照数据标记类型分yn按照不同目标函数类型分f按照不同的输入空间类型分X按照输出空间类型Y,可以分为二元分类,多元分类,回归分析以及结构化学习等,这个好理解,离散的是分类,连续的是回归,到是结构化的学习转载 2014-12-20 15:24:00 · 530 阅读 · 0 评论 -
Coursera机器学习基石 第2讲:感知器
转自:http://www.cnblogs.com/wacc/p/3848418.html第一讲中我们学习了一个机器学习系统的完整框架,包含以下3部分:训练集、假设集、学习算法 一个机器学习系统的工作原理是:学习算法根据训练集,从假设集合H中选择一个最好的假设g,使得g与目标函数f尽可能低接近。H称为假设空间,是由一个学习模型的参数决定的假设构成的一个空间。而我们这周就要学习转载 2015-01-31 17:38:54 · 1356 阅读 · 0 评论 -
机器学习的可行性
机器学习是根据一些样本的特性,推导出一个可能的公式g使得其与真实的变换f相当接近,这里的g不但要再样本上接近f,即对于任意的x属于D,g(x)=(约等于)f(x),而且不在D范围的的数据,要要满足g(x)约等于f(x)。如何满足这个关系呢?挑选的样本数目为N,待评估的函数几何为H,需要从众多的H中选择一个最接近于f的作为假设g。当然其中会有误差,机器学习的目的就是要找打一个g使得g与f的误差最原创 2014-12-22 15:33:33 · 864 阅读 · 0 评论 -
机器学习笔试面试系列算法集锦
转自:http://blog.csdn.net/ksearch/article/details/17527857前言: 找工作时(IT行业),除了常见的软件开发以外,机器学习岗位也可以当作是一个选择,不少计算机方向的研究生都会接触这个,如果你的研究方向是机器学习/数据挖掘之类,且又对其非常感兴趣的话,可以考虑考虑该岗位,毕竟在机器智能没达到人类水平之前,机器学习可以作为一种重要手段,转载 2015-01-30 09:43:34 · 1877 阅读 · 0 评论 -
Coursera台大机器学习课程笔记5 -- Theory of Generalization
转自:http://www.cnblogs.com/HappyAngel/p/3622333.html本章思路:根据之前的总结,如果M很大,那么无论假设泛化能力差的概率多小,都无法忽略,所以问题转化为证明M不大,然后上章将其转化为证明成长函数:mh(N)为多项式级别。直接证明似乎很困难,本章继续利用转化的思想,首先想想和mh(N)相关的因素可能有哪些?不难想到目前来看只有两个:转载 2014-12-23 16:52:21 · 727 阅读 · 0 评论 -
Windows下python安装matplotlib
一、下载matplotlib安装包:网址http://matplotlib.org/downloads.html我安装的是python3.4,因此选择的是matplotlib-1.4.2.win32-py3.4.exe这个下载的,然后直接点击下一步就行了。二、安装后在IDE下运行import matplotlib,提示No module named 'six'。缺少six模块,然后在https原创 2014-12-24 19:14:44 · 5892 阅读 · 2 评论 -
Coursera台大机器学习课程笔记6 -- The VC Dimension
转自:http://www.cnblogs.com/HappyAngel/p/3633989.html本章的思路在于揭示VC Dimension的意义,简单来说就是假设的自由度,或者假设包含的feature vector的个数(一般情况下),同时进一步说明了Dvc和,Eout,Ein以及Model Complexity Penalty的关系。一回顾 由转载 2014-12-24 16:36:25 · 542 阅读 · 0 评论 -
机器学习中样本N和hypothesis(H)个数的关系
在机器学习中,只有当N很大,且待选择的基函数M个数不是很多时才有效。例如在一个教室里有150个同学,每个同学抛硬币5次,如果假设H1是抛出硬币是正的,那么150个人里面有99%的概率会至少有一个人抛到5个正面朝上,那么这个同学的Ein就是最小的,是0,但是这个Ein是和Eout相差比较大,因为Eout应该是0.5才对。这里就有问题了:为什么机器学习在这个情景中不适用呢?其实上面150个同学原创 2014-12-25 19:37:50 · 1468 阅读 · 0 评论 -
从最大似然到EM算法浅解
从最大似然到EM算法浅解zouxy09@qq.comhttp://blog.csdn.net/zouxy09 机器学习十大算法之一:EM算法。能评得上十大之一,让人听起来觉得挺NB的。什么是NB啊,我们一般说某个人很NB,是因为他能解决一些别人解决不了的问题。神为什么是神,因为神能做很多人做不了的事。那么EM算法能解决什么问题呢?或者说EM算法是因为什转载 2015-02-10 09:48:24 · 482 阅读 · 0 评论