《数学之美》读书笔记3

原创 2016年08月28日 16:15:13

重要的数学模型

1.隐含马尔可夫模型
马尔可夫假设:随机过程中各个状态St的概率分布只与它的前一个状态St-1有关。
符合这个假设的随机过程称为马尔可夫过程,也称为马尔可夫链。
隐含马尔可夫模型是上述马尔可夫链的一个扩展:任一时刻t的状态St是不可见的。但是,隐含马尔可夫模型在每个时刻t会输出一个符号Ot,而且Ot跟St有关,且仅与St有关,这个被称为独立输出假设。
隐含马尔可夫模型的结构如下,其中隐含的状态S1,S2,……,St是一个典型的马尔可夫链。
这里写图片描述
根据观测信号找到最有可能产生观测信号的源信号。
这里写图片描述
一旦O1,O2,……,Ot产生了,它就不会变了,这时分母是一个可以忽略的常数。根据马尔可夫假设和独立输出假设,
这里写图片描述
所以,
这里写图片描述
隐含马尔可夫模型需要一个训练算法(鲍姆韦尔奇算法,它是一种无监督的训练算法,这里不赘述)和一个解码算法(维特比算法)。维特比算法是针对一个特殊的图——篱笆网络的有向图最短路径问题而提出的。

2.最大熵模型
最大熵原理说白了,就是保留全部的不确定性,将风险降到最小。最大熵原理指出,对一个随机事件的概率分布进行预测时,我们的预测应当满足全部已知条件,而对未知的情况不做任何主观假设。假设X1,X2,……,X20为20种不同的特征且相互独立,d为待预测的对象。
这里写图片描述
其中归一化因子是
这里写图片描述
最原始的最大熵模型的训练方法是一种称为通用迭代算法GIS(Generalized Iterative Scaling)的迭代算法,后有改进迭代算法IIS(Improved Iterative Scaling)。

3.贝叶斯网络——马尔可夫链的扩展
在一个有向图中如果马尔可夫假设成立,那么它就是贝叶斯网络。贝叶斯网络中所有的因果关系都可以有一个量化的可信度,即用一个概率描述。在网络中,每个节点的概率都可以用贝叶斯公式来表示。
使用贝叶斯网络首先要确定它的结构,对于简单的问题可以人工给出结构,对于复杂一点的问题则需要机器学习得到。确定贝叶斯网络的结构后,还需要确定节点之间弧的权重,为此,我们需要一些训练数据,通过优化贝叶斯网络的参数使得观察到的这些数据的概率达到最大,这个过程就是之前介绍过的EM过程。

4.条件随机场——隐含马尔可夫模型的扩展
在隐含马尔可夫模型中,Ot只取决于St,而与St-1,St+1无关,显然在很多应用里观测值可能和前后的状态都有关,如果把St-1,St+1都考虑进来,那么得到的模型就是条件随机场。
条件随机场和贝叶斯网络都是一种特殊的概率图模型,它们都遵守马尔可夫假设,但不同的是条件随机场是无向图,而贝叶斯网络是有向图。
在大部分应用中,条件随机场的节点分为状态节点的集合Y和观察变量节点的集合X。整个条件随机场的量化模型就是这两个集合的联合概率分布模型P(X,Y)。由于这个模型的变量特别多,不可能获得足够多的数据来用大数定理直接估计,因此只能通过一些它的边缘分布来找出一个符合所有这些条件的概率分布函数。根据最大熵原则,目标是找到一个符合所有边缘分布并使熵达到最大的模型,这个模型是指数函数。每一个边缘分布对应指数模型中的一个特征fi,把这些特征应用到模型中,得到如下公式:
这里写图片描述

5.逻辑回归模型
逻辑回归模型是指将一个事件出现的概率逐渐适应到一条逻辑曲线上。逻辑曲线是一条S型曲线,特点是一开始变化快,逐渐减慢,最后饱和。一个简单的逻辑回归函数有如下形式:
这里写图片描述
对应如下曲线:
这里写图片描述
自变量的定义域是实数域,值域是[0,1]。

书中还有一些诸如布隆过滤器,信息指纹方面的知识,因为与我的专业不很相关,就不整理了。

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

数学之美》读书笔记和知识点总结(一)

《数学之美》读书笔记和知识点总结(一)   早在前几个月我在台湾的时候,就听说《数学之美》是一本非常不错的书,也正好是我喜欢的类型,一直想买。回到北京之后的第一件事就是把我这半年积攒...
  • pi9nc
  • pi9nc
  • 2013年07月12日 09:52
  • 1469

数学之美读书笔记(四)

Chapter.16信息指纹及其应用 1.信息指纹不可逆,既无法根据它推出原有信息。 2.用信息指纹判断集合是否相同可大大减少运算量(且不占用额外的储存空间) 3.一个视频文件虽然每秒有数帧的图...
  • necrazy
  • necrazy
  • 2013年11月09日 10:43
  • 928

《数学之美》读书笔记 (二)

《数学之美》读书笔记 (二)  密码学作为信息传递的一个重要分支,已经有两千多年的历史。无论是凯撒大帝的罗马字母对应表,还是姜太公与周武王的阴符,都体现了密码在信息传递中的重要作用,不过从现代密码...

《数学之美》--读书笔记

文字和语言 VS 数字和信息香农-信息论 今天信息科学通信的基本原理是,如果信道较宽,信息不必压缩就可以直接进行传递;如果信道很窄,信息在传递之前要尽可能的压缩,然后在接收端进行解压缩。在古代,两...

《数学之美》读书笔记和知识点总结

文字和数字的起源 很久以前人类以不同的叫声表示不同的信息,达到彼此交流的目的,当所要表达的信息太多时,叫声已经不够用了,于是文字产生了。   文字:知道“罗塞塔”石碑的典故。 信息冗余的重要性...

数学之美读书笔记(三)

Chapter.11如何确定网页和查询内容的相关性 1.      TF-IDF法,利用逆文本频率指数(关键词在总文本中的比例的对数)加权的特定网页关键词词频度量关键词在此特定网页中的相关性 步骤...
  • necrazy
  • necrazy
  • 2013年11月09日 10:41
  • 1040

数学之美读书笔记(一)——历史发展的规律

shuxue

数学之美读书笔记(一)

Chapter.1文字,语言,数学,信息 很久以前人类以不同的叫声表示不同的信息,达到彼此交流的目的,当所要表达的信息太多时,叫声已经不够用了,于是文字产生了。 1.数学,文字皆是信息的载体 文...
  • necrazy
  • necrazy
  • 2013年11月09日 10:39
  • 1106

flex3读书笔记----flex整合hibernate

  • 2011年04月06日 02:41
  • 1.07MB
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:《数学之美》读书笔记3
举报原因:
原因补充:

(最多只允许输入30个字)