白话 贝叶斯公式_[技术] 白话大数据与机器学习 4 隐马尔可夫模型HMM

“高屋建瓴地化繁为简, 凡人饮水处，皆言机器学习”。那是一个深秋的傍晚, 一位正在过40岁生日的数学家正苦恼的望着远方。40岁对于一个数学家来说, 是一个悲伤的年龄, 因为这个世界上曾出现的伟大数学家, 99%都在40岁之前完成了自己最伟大的工作。数学界也普遍将40岁视为数学家退休的年龄, 比如著名的菲尔兹奖就只奖给40岁之前的数学家。他的朋友高岁他, 有两条路可以走, 一个是政界,不过我看你情商不够, 还是算了。另一条是金融, 听说聪明的人能在里面赚很多钱。于是, 数学家投身了金融界, 创办了自己的投资公司, 利用数学公式和机器学习算法来进行投机, 结果一战成名, 成为了传奇。他就是詹姆斯西蒙斯(James Simons), 他旗下的大奖章基金从1988-2015年, 27年平均年收益率达到了惊人的35%, 也就是说翻了3303倍。坊间传闻, 大奖章基金的秘密武器就是我们即将讨论的“隐马尔可夫模型(Hidden Markov Model - HMM)”。

未来阅读

读完需要

23分钟

速读仅需 15 分钟

1 

简评

《白话大数据与机器学习》,  通俗易懂, 但不失理论深度。对概念的入门级了解非常有用，提到了几乎所有关键点。

先从数据的概念以及基本的微积分、统计学、概率论知识点讲起，为后续理解算法的概念和公式打下基础；然后对监督学习和非监督学习的几类重点算法进行了详细的讲述，包括分类、聚类、回归、关联、推荐、神经网络等，最后还介绍了大数据的一些框架，及工业上的一些方法。

2 

作者 :  高扬 卫峥 尹会生等 

3 

机器学习算法有很多，有分类、回归、聚类、推荐、图像识别领域等等，具体算法比如线性回归、逻辑回归、朴素贝叶斯、随机森林、支持向量机、神经网络等等。在机器学习算法中，没有最好的算法，只有“更适合”解决当前任务的算法。

如果按照学习任务分类可分为以下三类：

1 )

   

分类

分类算法是机器学习中的一个重点，也是人们常说的“有监督的学习”。这是一种利用一系列已知类别的样本来对模型进行训练调整分类器的参数，使其达到所要求性能的过程，也称为监督训练学习。

所有的分类算法都是在解决：“某样本是某对象，某样本不是某对象”的概率问题。

首先知道大量的样本对象，并且知道这些样本对象的“特征”和所属类别，把这些数据告诉计算机，让计算机总结分类的原则，形成一个分类模型，再把新的待分类或者说未知分类的样本交给它，让它完成分类过程。

先用一部分有种种特征的数据和每种数据归属的标识来训练分类模型，当训练完毕后(等于计算机学会了应该怎么分类)，再让计算机用这个分类模型来区分新的“没见过”的只有“特征”、没有类别标识的样本，完成该样本的分类。

分类和回归

分类和回归看上去有一些相似之处，从直观感觉上去认识，可以这么感觉：因变量是定量型的归纳学习称为回归，或者说是连续变量预测；因变量是定性型的归纳学习称为分类，或者说是离散变量预测。

从实时收集的路况来预测某地段目前的行车速度为多少米每秒是典型的回归归纳过程，而预测这个路段的行车状态是“畅通”、“繁忙”、“拥堵”则是典型的分类归纳过程。

朴素贝叶斯

托马斯·贝叶斯(Thomas Bayes，约1701~1761年)，主业为牧师，副业为数学家。他在数学方面的主要贡献在概率论上，他首先将归纳推理法用于概率论基础理论，并创立了贝叶斯统计理论，在统计决策函数、统计推断、统计的估算等领域做出了卓越的贡献。1763年发表了名为《机会学说中一个问题的解》论著，对于现代概率论和数理统计都有很重要的作用。贝叶斯的另一著作《机会的学说概论》发表于1758年。

贝叶斯决策理论方法是统计模型决策中的一个基本方法，基本思想如下

(1)已知类条件概率密度参数表达式和先验概率。

(2)利用贝叶斯公式转换成后验概率。

(3)根据后验概率大小进行决策分类。

简单地说，朴素贝叶斯算法是利用统计中的“条件概率”来进行分类的一种算法。前面的章节介绍的古典概型的概率计算方法，就是扔硬币的那种，穷举出所有的情况，然后看看每种情况的占比，这都是基于排列组合的思路去做概率分析。朴素贝叶斯分类的方式不太一样。贝叶斯概率研究的是条件概率，也就是研究的场景就是在带有某些前提条件下，或者在某些背景条件的约束下发生的概率问题。

我们先给出这个著名的贝叶斯公式：设D1、D2、……、Dn为样本空间S的一个划分，如果以P(Di)表示Di发生的概率，且P(Di)＞0(i=1，2，…，n)。对于任何一个事件x，P(x)＞0，则有

在一个样本空间里有很多事件发生，Di就是指不同的事件划分，并且用Di可以把整个空间划分完毕，在每个Di事件发生的同时都记