机器学习 --- 概率图 - 表示 - 有向图

贝叶斯方法

• 概述
  • 生成模型：贝叶斯公式
  • 模型假设：条件独立性
  • 预测准侧：后验概率最大
• 频率派观点
  • 频率派把需要推断的参数θ看做是固定的未知常数，即概率虽然是未知的，但最起码是确定的一个值，同时，样本X 是随机的，所以频率派重点研究样本空间，大部分的概率计算都是针对样本X 的分布；
  • 比如往台球桌上扔一个球，这个球落会落在何处呢？如果是不偏不倚的把球抛出去，那么此球落在台球桌上的任一位置都有着相同的机会，即球落在台球桌上某一位置的概率服从均匀分布。这种在实验之前定下的属于基本前提性质的分布称为先验分布，或着无条件分布。
• 贝叶斯学派
  • 而贝叶斯派的观点则截然相反，他们认为参数是随机变量，而样本X 是固定的，由于样本是固定的，所以他们重点研究的是参数的分布。
  • 而后验分布π（θ|X）一般也认为是在给定样本X的情况下的θ条件分布，而使π（θ|X）达到最大的值θMD称为最大后验估计，类似于经典统计学中的极大似然估计。
  • 先验分布π（θ） + 样本信息X => 后验分布π（θ|X）而π（θ|X）使达到最大的值θMD称为最大后验估计，类似于经典统计学中的极大似然估计。
• 综合起来看，则好比是人类刚开始时对大自然只有少得可怜的先验知识，但随着不断观察、实验获得更多的样本、结果，使得人们对自然界的规律摸得越来越透彻。所以，贝叶斯方法既符合人们日常生活的思考方式，也符合人们认识自然的规律，经过不断的发展，最终占据统计学领域的半壁江山，与经典统计学分庭抗礼。
• 算法
  • 极大似然估计
    • 概述
      • 最大似然估计要估计的参数θ被当作是固定形式的一个未知变量，然后我们结合真实数据通过最大化似然函数来求解这个固定形式的未知变量！
    • 问题
      • 属性携带的信息被训练集中未曾出现过的属性值所干扰。
    • 优化
      • 拉普拉斯修正
  • 贝叶斯估计
    • 概述
      • 贝叶斯估计则是将参数视为是有某种已知先验分布的随机变量，意思便是这个参数他不是一个固定的未知数，而是符合一定先验分布如：随机变量θ符合正态分布等！那么在贝叶斯估计中除了类条件概率密度p(x|w)符合一定的先验分布，参数θ也符合一定的先验分布。我们通过贝叶斯规则将参数的先验分布转化成后验分布进行求解！
  • 特点
    • 优点：在数据较少的情况下仍然有效，可以处理多类别问题
      • 当样本量足够大的时候，极大似然估计和贝叶斯是一样的
      • 当样本量只有1个（极少）的时候，极大似然估计不是0就是1，贝叶斯则不同
    • 缺点
      • 贝叶斯估计和最大似然估计都是属于参数化估计，那么二者存在着一个共同的缺点：
        • 参数化估计虽然使得类条件概率密度变得相对简单，但估计结果的准确性严重依赖于所假设的概率分布形式是否符合潜在的真实数据分布。在现实应用中，与做出能较好的接近潜在真实分布中的假设，往往需要一定程度上利用关于应用任务本身的经验知识，否则若仅凭“猜测”来假设概率分布形式，很可能产生误导性的结果！

贝叶斯网络

• 概述
  • 贝叶斯网络(Bayesian network)，又称信念网络(Belief Network)，或有向无环图模型(directed acyclic graphical model)，是一种概率图模型，于1985年由Judea Pearl首先提出。它是一种模拟人类推理过程中因果关系的不确定性处理模型，其网络拓朴结构是一个有向无环图(DAG)。
  • 贝叶斯网络的有向无环图中的节点表示随机变量，它们可以是可观察到的变量，或隐变量、未知参数等。认为有因果关系（或非条件独立）的变量或命题则用箭头来连接。若两个节点间以一个单箭头连接在一起，表示其中一个节点是“因(parents)”，另一个是“果(children)”，两节点就会产生一个条件概率值。
  • 总而言之，连接两个节点的箭头代表此两个随机变量是具有因果关系，或非条件独立。
  • 全概率公式：结构化分解，可以减少参数
• 贝叶斯网络的3种结构形式（D-Separation是一种用来判断变量是否条件独立的图形化方法。）
  • head-to-head
    • c未知的条件下，a、b被阻断(blocked)，是独立的，称之为head-to-head条件独立
  • tail-to-tail
    • 在c给定的条件下，a，b被阻断(blocked)，是独立的，称之为tail-to-tail条件独立
  • head-to-tail
    • 在c给定的条件下，a，b被阻断(blocked)，是独立的，不会互相影响，称之为head-to-tail条件独立。
    • 在c未知的条件下，a，b之间会互相影响
• 贝叶斯网络推理
  • 因果推断：顺着方向推断
  • 证据推断：逆方向推断
  • 交叉因果推断：双向箭头推断