ML
果乐果香
我走的很慢,但我从不后退
展开
-
《数学之美》马尔科夫链的扩展-贝叶斯网络
1.使用贝叶斯网络需要首先确定此网络的拓扑结构,并且还要知道各个状态之间相关的概率,即拓扑结构和这些参数的过程称为结构训练和参数训练。2.结构训练:优化的贝叶斯网络结构要保证它产生的序列从头到尾的可能性最大,即后验概率最大。 当然,产生一个序列可以有多条路径,从理论上讲,需要完备的搜索,即考虑每一条路径,才能得到全局最优。但计算复杂度大,因此一般采用贪婪的算法,也就是在每一步时,沿着箭头的方...转载 2018-09-11 14:24:47 · 260 阅读 · 0 评论 -
深入理解拉格朗日乘子法(Lagrange Multiplier) 和KKT条件
在求取有约束条件的优化问题时,拉格朗日乘子法(Lagrange Multiplier) 和KKT条件是非常重要的两个求取方法,对于等式约束的优化问题,可以应用拉格朗日乘子法去求取最优值;如果含有不等式约束,可以应用KKT条件去求取。当然,这两个方法求得的结果只是必要条件,只有当是凸函数的情况下,才能保证是充分必要条件。KKT条件是拉格朗日乘子法的泛化。之前学习的时候,只知道直接应用两个方法,但是却...转载 2018-09-19 16:13:25 · 152 阅读 · 0 评论 -
独立与条件独立
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/lanchunhui/article/details/53696550事件间的条件独立(三个事件之间)条件弱于两个事件间的独立。 条件有时为不独立的事件之间带来独立(gain independence),有时也会把本来独立的事件,因为此条件的存在,而失去独立性(lose indep...转载 2018-09-11 10:20:16 · 4012 阅读 · 0 评论 -
机器学习:贝叶斯网络入门
版权声明:非技术文章禁止转载,如有需要请私信作者。技术类文章欢迎转载,转载请注明出处: http://blog.csdn.net/ztf312/ https://blog.csdn.net/ztf312/article/details/51044513贝叶斯理论是处理不确定性信息的重要工具。作为一种基于概率的不确定性推理方法,贝叶斯网络在处理不确定信息的智能化系统中已得到了重要的应用,已成功地...转载 2018-09-11 10:26:24 · 549 阅读 · 0 评论 -
马尔科夫模型与隐马尔科夫模型
马尔可夫分析法(markov analysis)又称为马尔可夫转移矩阵法,是指在马尔可夫过程的假设前提下,通过分析随机变量的现时变化情况来预测这些变量未来变化情况的一种预测方法。随机过程:是随时间而随机变化的过程。又称为随机函数。 马尔科夫模型(VMM):它描述了一类重要的随机过程。 一个系统有有限个状态集S = {s1,s2,sN},随时间推移,该系统将同某一状态转移到...转载 2018-09-26 10:23:48 · 3818 阅读 · 0 评论 -
一、贝叶斯网络与朴素贝叶斯的区别
一、贝叶斯网络与朴素贝叶斯的区别 朴素贝叶斯的假设前提有两个第一个为:各特征彼此独立;第二个为且对被解释变量的影响一致,不能进行变量筛选。但是很多情况这一假设是无法做到的,比如解决文本分类时,相邻词的关系、近义词的关系等等。彼此不独立的特征之间的关系没法通过朴素贝叶斯分类器训练得到,同时这种不独立性也给问题的解决方案引入了更多的复杂性[1]。 此时,更具普遍意义的贝叶斯网络在特...转载 2018-09-26 10:37:55 · 24514 阅读 · 1 评论 -
马尔可夫链 (Markov Chain)是什么鬼
马尔可夫链 (Markov Chain)是什么鬼 它是随机过程中的一种过程,一个统计模型,到底是哪一种过程呢?好像一两句话也说不清楚,还是先看个例子吧。 先说说我们村智商为0的王二狗,人傻不拉几的,见人就傻笑,每天中午12点的标配,仨状态:吃,玩,睡。这就是传说中的状态分布。你想知道他n天后中午12点的状态么?是在吃,还是在玩,还是在睡?这些状态发生的概率分别都是多少? (...转载 2018-09-26 10:47:53 · 4845 阅读 · 1 评论 -
马尔可夫链-Chapman-Kolmogorov方程及其n步转移概率矩阵
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/makenothing/article/details/41363971马尔可夫过程:马尔可夫过程按照其状态和时间参数是否连续或者离散分为三种:1.时间和状态都离散的叫做马尔科夫链,2.时间和状态都是连续的叫做马尔科夫过程,3.时间连续,状态离散的叫做连续时间的马尔科夫链。 马尔可夫过...转载 2018-09-26 10:55:39 · 11813 阅读 · 1 评论 -
马尔科夫链和隐马尔科夫模型
首先将其基本的概率进行讲解:马尔科夫性质(Markov property):简单的说,就是当一个随机过程在给定现在状态及所有过去状态情况下,其未来状态的条件概率分布仅依赖于当前状态。换句话说,在给定现在状态时,它与过去状态(即该过程的历史路径)是条件独立的(也就是没有任何的关系),那么此随机过程即具有马尔可夫性质。具有马尔可夫性质的过程通常称之为马尔可夫过程。 马尔可夫链(Markov...转载 2018-09-26 10:59:56 · 2091 阅读 · 0 评论 -
爱尔朗分布
爱尔朗分布概率与统计相关学科中,爱尔朗分布(Erlang Distribution)是一种连续型概率分布。Erlang分布的译名较多,如爱尔兰分布,埃朗分布,埃尔朗分布,爱尔朗分布,厄朗分布等等;此外在不同学科间,Erlang分布的习惯译法也可能不同。该分布与指数分布一样多用来表示独立随机事件发生的时间间隔。相比于指数分布,爱尔朗分布能更好地对现实数据进行拟合(更适用于多个串行过程,或无记...转载 2018-09-27 15:45:58 · 5156 阅读 · 0 评论 -
排队论中的常见分布:泊松分布、指数分布与爱尔朗分布
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/a493823882/article/details/781758241.概率函数①泊松分布:λ表示单位时间(面积或体积等)该事件平均发生次数(到达率)则p(x=k)表示单位时间(面积或体积等)该事件发生k次的概率。 数字特征:易知,根据定义期望为λ,也能求出方差也...转载 2018-09-27 15:49:53 · 8354 阅读 · 0 评论 -
TensorFlow从入门到理解
一、《莫烦Python》学习笔记:TensorFlow从入门到理解(一):搭建开发环境【基于Ubuntu18.04】TensorFlow从入门到理解(二):你的第一个神经网络TensorFlow从入门到理解(三):你的第一个卷积神经网络(CNN)TensorFlow从入门到理解(四):你的第一个循环神经网络RNN(分类例子)TensorFlow从入门到理解(五):你的第一个循环...转载 2018-11-28 16:06:59 · 167 阅读 · 0 评论 -
马尔科夫蒙特卡洛方法
本文是一篇翻译作品,曾于2015-02-12 02:56:17发表于译言网。2018-06-25搬运至简书。原文链接:http://stats.stackexchange.com/questions/165/how-would-you-explain-markov-chain-monte-carlo-mcmc-to-a-layperson原文作者:Rich http://stats.stack...转载 2019-02-28 21:49:27 · 1239 阅读 · 0 评论 -
机器学习&数据挖掘笔记_16(常见面试之机器学习算法思想简单梳理)
前言: 找工作时(IT行业),除了常见的软件开发以外,机器学习岗位也可以当作是一个选择,不少计算机方向的研究生都会接触这个,如果你的研究方向是机器学习/数据挖掘之类,且又对其非常感兴趣的话,可以考虑考虑该岗位,毕竟在机器智能没达到人类水平之前,机器学习可以作为一种重要手段,而随着科技的不断发展,相信这方面的人才需求也会越来越大。 纵观IT行业的招聘岗位,机器学习之类的岗位还是挺少的,...转载 2019-04-01 10:15:36 · 261 阅读 · 0 评论 -
图解十大经典机器学习算法入门
弱人工智能近几年取得了重大突破,悄然间,已经成为每个人生活中必不可少的一部分。以我们的智能手机为例,看看到底温藏着多少人工智能的神奇魔术。下图是一部典型的智能手机上安装的一些常见应用程序,可能很多人都猜不到,人工智能技术已经是手机上很多应用程序的核心驱动力。图1 智能手机上的相关应用传统的机器学习算法包括决策树、聚类、贝叶斯分类、支持向量机、EM、Adaboost等等。这篇文章将对...转载 2019-04-01 10:17:21 · 183 阅读 · 0 评论 -
多标签分类
多标签,即MultiLabel,指的是一个样本可能同时属于多个类,即有多个标签。比如一件L尺寸的棉服,则该样本就有至少两个标签——型号:L,类型:冬装。这里只贴两个链接,作为参考:解决多标签分类问题多标签(multi-label)数据的学习问题A review on multilabel algorithm综述是介绍多标签算法的机器学习如何处理多分类问题,其中ML...转载 2019-05-15 16:21:28 · 437 阅读 · 0 评论 -
广义拉格朗日函数的理解
为了求如下约束最优问题:引入广义拉格朗日函数: 先需要证明: 网上有的博文对(4)式的证明不容易看懂,我证明如下:首先将 记作函数。1)如果,由于可以取任意大,因此这时函数不可能取得最小值。因此函数只有在时才可能取得最小值。2)如果, =,因此(4)式两边等价。 第二步来证明: (1)由于原始问题和对偶问题均有最优值,所以可分别假设...转载 2018-09-19 16:03:00 · 1082 阅读 · 0 评论 -
机器学习与人工智能学习资源导引
我经常在 TopLanguage 讨论组上推荐一些书籍,也经常问里面的牛人们搜罗一些有关的资料,人工智能、机器学习、自然语言处理、知识发现(特别地,数据挖掘)、信息检索 这些无疑是 CS 领域最好玩的分支了(也是互相紧密联系的),这里将最近有关机器学习和人工智能相关的一些学习资源归一个类:首先是两个非常棒的 Wikipedia 条目,我也算是 wikipedia 的重度用户了,学习一门东...转载 2018-09-10 10:54:08 · 70 阅读 · 0 评论 -
贪心算法
贪心算法(又称贪婪算法)是指,在对问题求解时,总是做出在当前看来是最好的选择。也就是说,不从整体最优上加以考虑,他所做出的是在某种意义上的局部最优解。贪心选择贪心选择是指所求问题的整体最优解可以通过一系列局部最优的选择,即贪心选择来达到。这是贪心算法可行的第一个基本要素,也是贪心算法与动态规划算法的主要区别。贪心选择是采用从顶向下、以迭代的方法做出相继选择,每做一次贪心选择就将所求问题简化...转载 2018-09-11 15:30:49 · 177 阅读 · 0 评论 -
凸优化中局部最优解就是全局最优解吗?
对于凸优化来说,局部最优就是全局最优,换句话说,极小值就是最小值。至于为什么?这个就是数学证明了,这个要用到凸函数、凸集的定义。我们可以用反证法来证明。已知x0x0是个局部最优点,假设在全集SS上存在一个点x∗x∗,使得 f(x∗)<f(x0).f(x∗)<f(x0).因为f(x)f(x)是凸函数,所以对于任意的tt f(tx∗+(1−t)x0)≤tf(x∗...转载 2018-09-11 15:34:43 · 19589 阅读 · 1 评论 -
蒙特卡洛方法
蒙特卡洛方法(Monte Carlo method,也有翻译成“蒙特卡罗方法”)是以概率和统计的理论、方法为基础的一种数值计算方法,将所求解的问题同一定的概率模型相联系,用计算机实现统计模拟或抽样,以获得问题的近似解,故又称随机抽样法或统计试验法。上述就是蒙特卡洛方法的基本概念,比较抽象,下面结合实际工作中的理解,谈一谈对蒙特卡洛方法的一些认识。(1)首先,蒙特卡洛不是个人名,而是个地名,说明...转载 2018-09-11 19:12:03 · 1010 阅读 · 0 评论 -
从贝叶斯方法谈到贝叶斯网络
从贝叶斯方法谈到贝叶斯网络2014年11月10日 19:04:49 阅读数:98198更多个人分类: 30.Machine L & Deep Learning所属专栏: 机器学习十大算法系列 从贝叶斯方法谈到贝叶斯网络 0 引言 事实上,介绍贝叶斯定理、贝叶斯方法、贝叶斯推断的资料、书籍不少,比如《数理统计学简史》,以及《统计决策论及贝叶斯...转载 2018-09-09 11:01:36 · 308 阅读 · 0 评论 -
贝叶斯推断及其互联网应用(一):定理简介
作者: 阮一峰日期: 2011年8月25日一年前的这个时候,我正在翻译Paul Graham的《黑客与画家》。那本书的第八章,写了一个非常具体的技术问题----如何使用贝叶斯推断过滤垃圾邮件(英文版)。我没完全看懂那一章。当时是硬着头皮,按照字面意思把它译出来的。虽然译文质量还可以,但是心里很不舒服,下决心一定要搞懂它。一年过去了,我读了一些概率论文献,逐渐发现贝叶斯推断并不难...转载 2018-09-10 10:45:47 · 175 阅读 · 0 评论 -
贝叶斯推断及其互联网应用(二):过滤垃圾邮件
作者: 阮一峰日期: 2011年8月27日上一次,我介绍了贝叶斯推断的原理,今天讲如何将它用于垃圾邮件过滤。========================================贝叶斯推断及其互联网应用作者:阮一峰(接上文)七、什么是贝叶斯过滤器?垃圾邮件是一种令人头痛的顽症,困扰着所有的互联网用户。正确识别垃圾邮件的技术难度非常大。传统的垃圾邮件...转载 2018-09-10 10:46:41 · 354 阅读 · 0 评论 -
贝叶斯推断及其互联网应用(三):拼写检查
作者: 阮一峰日期: 2012年10月16日(这个系列的第一部分介绍了贝叶斯定理,第二部分介绍了如何过滤垃圾邮件,今天是第三部分。)使用谷歌的时候,如果你拼错一个单词,它会提醒你正确的拼法。比如,你不小心输入了 seperate。谷歌告诉你,这个词是不存在的,正确的拼法是 separate。这就叫做"拼写检查"(spelling corrector)。有好几种方法可...转载 2018-09-10 10:47:33 · 473 阅读 · 0 评论 -
数学之美番外篇:平凡而又神奇的贝叶斯方法
概率论只不过是把常识用数学公式表达了出来。——拉普拉斯目录0. 前言 1. 历史 1.1 一个例子:自然语言的二义性 1.2 贝叶斯公式 2. 拼写纠正 3. 模型比较与贝叶斯奥卡姆剃刀 3.1 再访拼写纠正 3.2 模型比较理论(Model Comparasion)与贝叶斯奥卡姆剃刀(Bayesian Occam’s Razor) ...转载 2018-09-10 10:50:11 · 137 阅读 · 0 评论 -
多标签分类(multilabel classification )
这几天看了几篇相关的文章, 写篇文章总结一下,就像个小综述一样, 文章会很乱 1、multilabel classification的用途 多标签分类问题很常见, 比如一部电影可以同时被分为动作片和犯罪片, 一则新闻可以同时属于政治和法律,还有生物学中的基因功能预测问题, 场景识别问题,疾病诊断等。 2. 单标签分类 在传统的单标签分类中,训练...转载 2019-05-18 20:02:01 · 2598 阅读 · 0 评论