计算语言学之预备知识

0.写在前面

这一讲，我们主要是来复习一下我们将要用到的一些数学概念，这里主要包含3大部分，第一部分是概率论的相关知识，第二部分是信息论的相关知识，第三部分则是支持向量机的相关知识。我们这一讲，主要围绕这三个问题进行讲解。

1.概率论相关知识

1.1. 概率的定义

概率论的第一个问题，就是什么是概率：概率是从随机试验中的事件到实数域的映射函数，用以表示事件发生的可能性。

准确来讲，我们个人是没有办法对一个事物得到其概率的真实值，尤其是在教科书里，更是把极大似然估计看作是概率的估计，约等于概率。这种想法，对于初学者来讲，会使得概率变得有血有肉，但对于极大似然估计的理解，就增加了难度，很多人搞不清楚什么是极大似然估计的原因，就是因为极大似然估计的位置让概率所占有了，所以你很难再去找一个合适的定义来定义极大似然估计。

事实上，两者之间的的关系是这样的：
如果