(1) 自然语言处理的预备知识

1. 概率论基本概念

1.1 概率:

概率函数三定理：

• 非负性：$P(A)\ge 0$
• 规范性：$P(\Omega )=1$
• 可列可加性：$P(\bigcup _{i=0}^{\infty })=\sum _{i=0}^{\infty }P(A_i)$

1.2 最大似然估计:

已知数据分布，以及分布的参数$\theta$, 可以根据采样出的样本估计$\theta$的值:
$$like(\theta )=f_D(x_1,x_2,\cdots ,x_n|\theta )$$
在所有$\theta$的取值上, 使这个函数最大的那个值就被称为$\theta$的最大似然估计.

1.3 条件概率:

$$\begin{gathered} P(A|B)=\frac{P(A\cap B)}{P(B)} \\ P(A\cap B)=P(A|B)P(B)=P(B|A)P(A) \\ P(A_1{A}_2...A_n)=P(A_1)P(A_2|A_1)P(A_3|A_1{A}_2)...P(A_n|\bigcap _{i=1}^{n-1}{A}_i) \end{gathered}$$

1.4 贝叶斯法则

$$P(B|A)=\frac{P(B\cap A)}{P(A)}=\frac{P(A|B)P(B)}{P(A)}$$

全概率公式:
$$P(A)=\sum _{i}P(A|B_i)P(B_i)$$

1.5 随机变量:

随机变量就是试验结果的函数

1.6 二项式分布:

$$\begin{gathered} X\backsim B(n,p) \\ {p}_i={(}_i^n)p^i(1-p{)}^{n-i},i=0,1,\cdots ,n \end{gathered}$$

1.7 联合概率分布和条件概率分布:

$$P(X_1=a_i|X_2=b_j)=\frac{P(X_1=a_i,X_2=b_j)}{P(X_2=b_j)}=\frac{p_{ij}}{P(X_2=b_j)}$$

1.8 贝叶斯决策理论:

$$P({\omega }_i|x)=\frac{p(x|{\omega }_i)P({\omega }_i)}{\sum _{j=1}^{c}p(x|{\omega }_j)P({\omega }_j)}$$

1.9 期望和方差:

$$\begin{gathered} E(X)=\sum _{k=1}^{\infty }{x}_k{p}_k \\ Var(X)=E((X-E(X){)}^2) \end{gathered}$$

2. 语料库与语言知识库:

语料库(corpus base)

2.1 语料库的分类

1. 平衡语料库和平行语料库

2. 通用语料库和专用语料库

3. 共时语料库和历时语料库

4. 生语料与标注语料库