junli_chen的博客

原文地址：贝叶斯分类器与贝叶斯网络作者：yfx416贝叶斯分类器是一种基于贝叶斯公式的分类器,是一种基于统计的分类器,它计算在某一特征向量的前提下,各种分类可能出现的概率.把概率最大的那个类当作最终的分类结果.贝叶斯分类器分为2种:朴素贝叶斯分类器,贝叶斯网络.这篇博克简单介绍下这两种分类器原理.朴素贝叶斯分类器贝叶斯公式如下其中X代表特征向量,

可以讲，马尔可夫链是贝叶斯网络的特例，而贝叶斯网络是马尔可夫链的推广。 马尔可夫链 (MarkovChain)，它描述了一种状态序列，其每个状态值取决于前面有限个状态。这种模型，对很多实际问题来讲是一种很粗略的简化。在现实生活中，很多事物相互的关系并不能用一条链来串起来。它们之间的关系可能是交叉的、错综复杂的。比如从心血管疾病出发到吸烟的弧线表示心血管疾病可能和吸烟有关。当然，这些关系可以

1.使用贝叶斯网络需要首先确定此网络的拓扑结构，并且还要知道各个状态之间相关的概率，即拓扑结构和这些参数的过程称为结构训练和参数训练。2.结构训练：优化的贝叶斯网络结构要保证它产生的序列从头到尾的可能性最大，即后验概率最大。  当然，产生一个序列可以有多条路径，从理论上讲，需要完备的搜索，即考虑每一条路径，才能得到全局最优。但计算复杂度大，因此一般采用贪婪的算法，也就是在每一步时，沿着箭头

1.bayesian networks的一些基本概念 贝叶斯网bayesian networks是一种有向无环图模型（DAG），可表示为G=(V,A)。其中V是节点的集合，节点表示随机变量；A是弧（或称为边）的集合，弧的箭头表示随机变量之间的概率相依性。有向无环图DAG定义了一个因子化的V中全体节点的联合概率分布，称为全局概率分布；相对的，与每个随机变量关联的，为局部概率分布。因子

3.结构学习上面我们采用一个预先设定的结构建立了一个关于marks的贝叶斯网。这种方式在某些情况下（比如存在先验的专家知识）是合适的。但是对大多数的贝叶斯网络，我们需要从数据中学习网络。3.1贝叶斯网的结构简介 贝叶斯网关于节点（随机变量）的条件依赖或条件独立可以从图的角度讨论节点之间的连通与分割。如果两个节点A,B直接相连，它们之间存在直接依赖关系。若两个节点不是直接

4.参数学习得到贝叶斯网的网络结构之后，可以对局部分布的参数进行参数估计了，这称作参数学习。4.1参数学习的基本方法bnlearn包的参数学习函数是bn.fit,其参数method给出了两种具体的方法：“mle”为极大似然估计；"bayes"为贝叶斯后验估计（采用无信息先验分布）。4.2对marks数据集的参数学习marks是个连续数据集，所以参数采用的是回

贝叶斯网络的推理（inference）(1)推理问题 在了解如何构造贝叶斯网络之后，下面我们考虑如何利用贝叶斯网络来进行推理。贝叶斯网络的推理是对某些变量当给定其它变量的状态作为证据时如何推断它们的状态，也就是通过计算回答查询（query）的过程。这个推理的过程也称为概率推理或信念更新。 在实践中，贝叶斯网的推理基于贝叶斯统计，重点在于后验概率或密度的计算。推理问题可分为这样的三类：

一、遗传算法介绍        遗传算法是通过模拟大自然中生物进化的历程，来解决问题的。大自然中一个种群经历过若干代的自然选择后，剩下的种群必定是适应环境的。把一个问题所有的解看做一个种群，经历过若干次的自然选择以后，剩下的解中是有问题的最优解的。当然，只能说有最优解的概率很大。这里，我们用遗传算法求一个函数的最大值。        f(x) = 10 * sin( 5x ) + 7

转盘算法是遗传算法中的，相当于一个selector，对不同概率的结果选择的程度不同，倾向于选择大概率时间。工作过程：设想群体全部个体的适当性分数由一张饼图来代表 (见图)。群体中每一染色体指定饼图中一个小块。块的大小与染色体的适应性分数成比例，适应性分数愈高，它在饼图中对应的小块所占面积也愈大。为了选取一个染色体，要做的就是旋转这个轮子，直到轮盘停止时，

遗传算法（Genetic Algorithm）又叫基因进化算法，或进化算法。属于启发式搜索算法一种，这个算法比较有趣，并且弄明白后很简单，写个100-200行代码就可以实现。在某些场合下简单有效。本文就花一些篇幅，尽量白话方式讲解一下。       首先说一下问题。在我们学校数据结构这门功课的时候，时常会有一些比较经典的问题（而且比较复杂问题）作为学习素材，如八皇后，背包问题，染色问题等等

原文地址：http://blog.csdn.net/memory513773348/article/details/16973807简介贝叶斯网络(Bayesian network)，又称信念网络(belief network)或是有向无环图模型(directed acyclic graphical model)，是一种概率图型模型，借由有向无环图(directed acycl

最近在我的网站骂我的人比较多，想写一个语义分类器，让电脑自动屏蔽那些骂人的评论，怎么办呢？这就用到了一个机器学习的算法——贝叶斯文本分类器。这个算法很有用处，可以让电脑识别人类语言，如果加上一点心理学的知识，可以让电脑理解人类的文章并让电脑判断作者的个性特征，这就复杂了，现在我们先做一个简单的示范。首先是需要一个样本集，用于训练文本分类器：这里面用到了一个分词算法【cs.perse

最近由于工作项目，需要判断两个txt文本是否相似，于是开始在网上找资料研究，因为在程序中会把文本转换成String再做比较，所以最开始找到了这篇关于 距离编辑算法 Blog写的非常好，受益匪浅。       于是我决定把它用到项目中，来判断两个文本的相似度。但后来实际操作发现有一些问题：直接说就是查询一本书中的相似章节花了我7、8分钟；这是我不能接受……       于是停下来仔细

昨天讲述了研究生做的第一个项目，今天开始进入我的学术研究方向的重点——机器学习，虽然这些文章对于我找一份程序员工作可能没有什么太大的帮助，但是毕竟是之前我花了很多时间研究过的，既然以后的重点都是回忆，那就索性一个不落下吧。另外之所以开始这样的行为，也得益于之前华为的一位技术面试官对我的影响，再次感谢一下这位面试官，很遗憾的是我都不晓得他姓什么。记忆这种东西谁都会忘，大脑可以选择遗忘，这是它的自由，

上次介绍了贝叶斯理论的基本知识，接下来介绍剩下的两部分内容，即：贝叶斯分类器和贝叶斯网络。对于这两部分的内容，涉及太多东西，这里讲述的只是一些基础知识，尽可能将我知道的分享给大家，有错误的地方还希望指正。    3）贝叶斯分类器    关于该部分内容，主要分为两个部分，即贝叶斯最优分类器（Bayes Optimal Classifier）和朴素贝叶斯分类器（Navie Bayes

前面我们已经知道朴素贝叶斯分类器基于一个很强的假定，即对于给定的某个类别，各特征属性之间是相互独立的。这个假定简化了计算过程和减少了分类器的复杂度，但是其限制条件却太过苛刻。因为直观上我们知道，现实世界中各特征属性之间很有可能是相互关联的，我们不能忽略这个特征。为了对现实世界进行更好的建模以得到更加准确的分类。接下来我要讲述第四部分的内容，即贝叶斯网络。    4）贝叶斯网络   

Bayesian Net ExampleConsider the following Bayesian network:Thus, the independence expressed in this Bayesian net are that A and B are (absolutely) independent. C is independent of B given A

1.1、摘要      在上一篇文章中我们讨论了朴素贝叶斯分类。朴素贝叶斯分类有一个限制条件，就是特征属性必须有条件独立或基本独立（实际上在现实应用中几乎不可能做到完全独立）。当这个条件成立时，朴素贝叶斯分类法的准确率是最高的，但不幸的是，现实中各个特征属性间往往并不条件独立，而是具有较强的相关性，这样就限制了朴素贝叶斯分类的能力。这一篇文章中，我们接着上一篇文章的例子，讨论贝叶斯分类中更

以下内容摘录自www.norsys.com，根据实例内容意译译文。贝叶斯网络应用实例一：胸部疾病诊所（Chest Clinic）假想你是Los Angeles一名新毕业的医生，专攻肺部疾病。你决定建立一个胸部疾病诊所，主治肺病及相关疾病。大学课本已经中告诉你了肺癌、肺结核和支气管炎的发生比率以及这些疾病典型的临床症状、病因等，于是你就可以根据课本里的理论知识建立自己的Bayes网。

叶斯网络模型最简单的例子是“分类器”，即在观测节点输入多个特征，就能获得这些特征所对应的具体事物。 例如：一个箱子里装有篮球，排球和足球，你的朋友每次从箱子里取出某一个球。但你看不见所取球的类型，只能通过朋友描述尺寸，外表，颜色等特征（观测数据）来辨别（分类），当然你之所以具备辨别（分类）能力是你长期对几种球类的观察和认识，并将这些特征一一储存在你脑部，这就形成先验知识以及特征与具体事

我们在前面的系列中多次提到马尔可夫链 (MarkovChain)，它描述了一种状态序列，其每个状态值取决于前面有限个状态。这种模型，对很多实际问题来讲是一种很粗略的简化。在现实生活中，很多事物相互的关系并不能用一条链来串起来。它们之间的关系可能是交叉的、错综复杂的。比如在下图中可以看到，心血管疾病和它的成因之间的关系是错综复杂的。显然无法用一个链来表示。我们可以把上述的有向

博主前言：此文章来自一份网络资料，原作者不明，是我看过的最好的一份遗传算法教程，如果你能耐心看完他，相信你一定能基本掌握遗传算法。遗传算法的有趣应用很多，诸如寻路问题，8数码问题，囚犯困境，动作控制，找圆心问题（这是一个国外网友的建议：在一个不规则的多边形 中，寻找一个包含在该多边形内的最大圆圈的圆心。），TSP问题（在以后的章节里面将做详细介绍。），生产调度问题，人工生命模拟等。直到最后