《数学之美》读书笔记3

原创 2016年08月28日 16:15:13

重要的数学模型

1.隐含马尔可夫模型
马尔可夫假设:随机过程中各个状态St的概率分布只与它的前一个状态St-1有关。
符合这个假设的随机过程称为马尔可夫过程,也称为马尔可夫链。
隐含马尔可夫模型是上述马尔可夫链的一个扩展:任一时刻t的状态St是不可见的。但是,隐含马尔可夫模型在每个时刻t会输出一个符号Ot,而且Ot跟St有关,且仅与St有关,这个被称为独立输出假设。
隐含马尔可夫模型的结构如下,其中隐含的状态S1,S2,……,St是一个典型的马尔可夫链。
这里写图片描述
根据观测信号找到最有可能产生观测信号的源信号。
这里写图片描述
一旦O1,O2,……,Ot产生了,它就不会变了,这时分母是一个可以忽略的常数。根据马尔可夫假设和独立输出假设,
这里写图片描述
所以,
这里写图片描述
隐含马尔可夫模型需要一个训练算法(鲍姆韦尔奇算法,它是一种无监督的训练算法,这里不赘述)和一个解码算法(维特比算法)。维特比算法是针对一个特殊的图——篱笆网络的有向图最短路径问题而提出的。

2.最大熵模型
最大熵原理说白了,就是保留全部的不确定性,将风险降到最小。最大熵原理指出,对一个随机事件的概率分布进行预测时,我们的预测应当满足全部已知条件,而对未知的情况不做任何主观假设。假设X1,X2,……,X20为20种不同的特征且相互独立,d为待预测的对象。
这里写图片描述
其中归一化因子是
这里写图片描述
最原始的最大熵模型的训练方法是一种称为通用迭代算法GIS(Generalized Iterative Scaling)的迭代算法,后有改进迭代算法IIS(Improved Iterative Scaling)。

3.贝叶斯网络——马尔可夫链的扩展
在一个有向图中如果马尔可夫假设成立,那么它就是贝叶斯网络。贝叶斯网络中所有的因果关系都可以有一个量化的可信度,即用一个概率描述。在网络中,每个节点的概率都可以用贝叶斯公式来表示。
使用贝叶斯网络首先要确定它的结构,对于简单的问题可以人工给出结构,对于复杂一点的问题则需要机器学习得到。确定贝叶斯网络的结构后,还需要确定节点之间弧的权重,为此,我们需要一些训练数据,通过优化贝叶斯网络的参数使得观察到的这些数据的概率达到最大,这个过程就是之前介绍过的EM过程。

4.条件随机场——隐含马尔可夫模型的扩展
在隐含马尔可夫模型中,Ot只取决于St,而与St-1,St+1无关,显然在很多应用里观测值可能和前后的状态都有关,如果把St-1,St+1都考虑进来,那么得到的模型就是条件随机场。
条件随机场和贝叶斯网络都是一种特殊的概率图模型,它们都遵守马尔可夫假设,但不同的是条件随机场是无向图,而贝叶斯网络是有向图。
在大部分应用中,条件随机场的节点分为状态节点的集合Y和观察变量节点的集合X。整个条件随机场的量化模型就是这两个集合的联合概率分布模型P(X,Y)。由于这个模型的变量特别多,不可能获得足够多的数据来用大数定理直接估计,因此只能通过一些它的边缘分布来找出一个符合所有这些条件的概率分布函数。根据最大熵原则,目标是找到一个符合所有边缘分布并使熵达到最大的模型,这个模型是指数函数。每一个边缘分布对应指数模型中的一个特征fi,把这些特征应用到模型中,得到如下公式:
这里写图片描述

5.逻辑回归模型
逻辑回归模型是指将一个事件出现的概率逐渐适应到一条逻辑曲线上。逻辑曲线是一条S型曲线,特点是一开始变化快,逐渐减慢,最后饱和。一个简单的逻辑回归函数有如下形式:
这里写图片描述
对应如下曲线:
这里写图片描述
自变量的定义域是实数域,值域是[0,1]。

书中还有一些诸如布隆过滤器,信息指纹方面的知识,因为与我的专业不很相关,就不整理了。

版权声明:本文为博主原创文章,未经博主允许不得转载。

数学之美读书笔记

第一章:文字和语言vs数字和信息     1. 文字是信息的载体。信息传播的基本模式:             源信息 -> 编码 -> 信道传输 -> 接收者解码 -> 还原信息     2....
  • mlzhu007
  • mlzhu007
  • 2014年07月10日 19:04
  • 1705

《数学之美》读书笔记和知识点总结

文字和数字的起源 很久以前人类以不同的叫声表示不同的信息,达到彼此交流的目的,当所要表达的信息太多时,叫声已经不够用了,于是文字产生了。   文字:知道“罗塞塔”石碑的典故。 信息冗余的重要性...
  • wenyusuran
  • wenyusuran
  • 2014年11月04日 10:10
  • 1089

我读经典(1):读《数学之美》有感

一提到“数学”,很多人也许就会感到头痛。确实,在大学的所有课程中,凡是与“数学”有关的课一般逃课率都比较高,当然挂科率也比较的高。可见,大家对“数学”是多么的“厌恶”。         但是,我们每天...
  • zhouzxi
  • zhouzxi
  • 2013年05月26日 21:25
  • 3066

《数学之美》读书笔记(二)

《数学之美》第二次阅读 一个学期的结束,考试完成,下起了小雨,吃过了早饭之后,打着伞走进了自习室,重拾此书。记得本学期开学之初初读时欣喜不已,竟放到了现在。 第4章 谈谈分词。由于刚刚结束的对数据库的...
  • KevinBetterQ
  • KevinBetterQ
  • 2016年07月03日 15:25
  • 518

数学之美,美在将复杂问题简化——《数学之美》读后感

我是在读了吴军博士的《浪潮之巅》之后,发现推荐了《数学之美》这本书。我到豆瓣读书上看了看评价,就果断在当当上下单买了一本研读。本来我以为这是一本充满各种数学专业术语的书,读后让我非常震撼的是吴军博士居...
  • kbawyg
  • kbawyg
  • 2012年09月29日 14:34
  • 7006

《数学之美》--吴军 读后感

拿到《数学之美》这本书,真是爱不释手,也给好多朋友推荐看 其中的数学部分真的太巧妙了,”数学是科学的皇后“ ,真是太美妙了 不管是概率论,线性代数,还是离散,亦或是统计学 真切的不像以前那么想起...
  • huaxixidongbeishida
  • huaxixidongbeishida
  • 2016年03月24日 20:33
  • 953

2015.8.7 数学之美番外篇:快排为什么那样快 读后感

数学之美番外篇:快排为什么那样快 读后感 书中所举得例子,不论是12个小球还是排序问题,解的可能性很多,但是最终的结果只有一个。因此我需要用我所能做的操作来寻找到解空间,其中涉及关键问题:为了寻找到...
  • Zhaohui1995_Yang
  • Zhaohui1995_Yang
  • 2016年05月08日 17:43
  • 384

把握本质规律——《数学之美》作者吴军接受《程序员》采访

把握本质规律——《数学之美》作者吴军接受《程序员》采访                                                                      ...
  • linshixina
  • linshixina
  • 2012年10月15日 15:46
  • 731

《数学之美》读书笔记(六)(七)(八)(九)

信息的度量和作用 信息熵 条件熵 互信息 相对熵 贾里尼克 布尔代数和搜索引擎 二进制的布尔代数 索引:搜索引擎为什么可以在如此短的时间内找如此巨量的内容?建立索引。 每个网站就像图书馆里的一...
  • jr1261181988
  • jr1261181988
  • 2017年01月24日 10:24
  • 87

数学之美读后感

1、自然语言处理研究的"鸟飞派"认为看看鸟怎么飞,就能模仿鸟造出飞机,而不需要了解空气动力学。事实是,怀特兄弟靠的是空气动力学而不是仿生学。 串想: 有那么很少一些的初级投资者们,认为看看巴菲特怎...
  • huaweitman
  • huaweitman
  • 2014年06月23日 10:48
  • 3005
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:《数学之美》读书笔记3
举报原因:
原因补充:

(最多只允许输入30个字)