NLP（二）——数学基础

一、概率论

1、概率

三条公理：
（1）非负性：$P(A)>=0$
（2）规范性:$P(\Omega )=1$
（3）可列可加性：$P({\sum }_{i=0}^n{A}_i)$=${\sum }_{i=0}^n$$P(A_i)$

2、最大似然估计

用相对频率作为概率的估计值，这种概率估计值的方法称为最大似然估计。
相对频率：
{ s 1 , s 2 , ⋯   , s n } \lbrace s_1,s_2,\cdots,s_n\rbrace {s1​,s2​,⋯,sn​}是一个样本空间，在相同条件下重复实验N次，观察到样本$s_k$出现的次数$n_N(s_k)$，那么$s_k$在这N次试验中的相对频率就是：
$q_N(s_k)=n_N(s_k)$ / $N$
当N越来越大，相对频率$q_N(s_k)$就越接近概率$P(s_k)$：

$\underset{x\to \infty }{\lim }$ $q_N(s_k)$ $=$$P(s_k)$

3、条件概率

性质：
（1）非负性：$P(A|B)\ge 0$

（2）规范性：$P(\Omega |B)=1$

（3）可列可加性：若$A_1,A_2,\cdots ,A_n$两两互不相容，则：
$P({\sum }_{i=0}^{\infty }{A}_i|B)=$${\sum }_{i=1}^{\infty }P(A_i|B)$

若条件$A_i,A_j$条件独立，当且仅当：
$P(A_i.A_j|B)=P(A_i|B)\ast P(A_j|B)$

4、贝叶斯法则

$P(B|A)=\frac{P(A|B)\ast P(B)}{P(A)}$
其中$P(A|B)$是条件概率，$P(B)$是先验概率,$P(A)$是用全概率公式求得：
$P(A)={\sum }_{i}P(A|B_i)P(B_i)$（其中${\sum }_i{B}_i=\Omega$）
贝叶斯公式：$$P(B_j|A)=\frac{P(A|B_j)P(B_j)}{{\sum }_i^{n}P(A|B_i)P(B_i)}$$

5、随机变量

$X$是离散型随机变量，其全部可能的值为 { a 1 , a 2 , ⋯   } \lbrace a_1,a_2,\cdots\rbrace {a1​,a2​,⋯}。那么：$$p_i=P(X=a_i)$$,上式也称为是随机变量$X$的概率分布，此时函数：$$P(X\le x)=F(x),-\infty <x<\infty$$
称为$X$的分布函数。

6、二项式分布

$$X-B(n,p)=C_n^i{p}^i(1-p{)}^{n-i}$$

7、联合概率分布和条件概率分布

$(X_1,X_2)$是二维的离散随机变量，$X_1$的取值为$a_1,a_2,\cdots$；$X_2$的取值为$b_1,b_2,\cdots$.那个$(X_1,X_2)$的联合分布为：$$p_{ij}=P(X_1=a_i,X_2=b_j)$$
$$P(X_1=a_i|X_2=b_j)=\frac{P(X_1=a_i,X_2=b_j)}{P(X_2=b_j)}$$

8、贝叶斯决策理论

分类问题有$c$个类别，各类别的状态用$w_j$表示，$i=1,2,3,\cdots ,c$；对应于各个类别$w_i$出现的先验概率$p(w_i)$；在特征空间中观察到某一个向量$x=[x_1,x_2,\cdots ,x_d]$是$d$维空间的某一点，其条件概率$p(x|w_i)$已知，那么利用贝叶斯公式求解后验概率$p(w_i|x)$如下：
$$P(w_i|x)=\frac{P(x|w_i)P(w_i)}{{\sum }_{j=0}^{c}P(x|w_j)P(w_j)}$$
下面介绍两个贝叶斯决策规则：
1、基于最小错误率的贝叶斯决策规则：
（1）如果$p(w_i|x)=max(p(w_j|x)),j=1,2,\cdots ,c$，那么$x\in w_i$
（2）如果$p(x|w_i)p(w_i)=max(p(x|w_j)p(w_j)),j=1,2,\cdots ,c$，那么$x\in w_i$
（3）如果$l(x)=\frac{p(x|w_1)}{p(x|w_2)}>\frac{p(w_2)}{p(w_1)},j=1,2,\cdots ,c$，那么$x\in w_1$否则$x\in w_2$
即：$$P(e)=1-P(w_i|X)$$
2、基于最小风险的贝叶斯决策规则：
设置了损失函数$${\lambda }_j^{(i)}=\lambda (a_i|w_j)$$表示观测值X属于j类而被误判为i类的损失权重。
观测值X被判断为i类的平均损失为：$$R(a_i|X)=\sum _{j=1}^c\lambda (a_i|w_j)P(w_j|x)$$
$$R(a_k|X)=mi{n}_{j=1,\cdots ,c}R(a_j|X)$$
当损失函数是0-1损失函数时，基于最小风险的贝叶斯决策等价于基于最小错误的贝叶斯决策。此时的平均损失为：$$R(a_i|X)=\sum _{j=1,j\ne i}^{c}P(w_j|x)=1-maxP(w_i|x)$$

9、期望和方差

离散型：
连续型：

方差：$$E(X)=E(X^2)-E^2(X)$$

二、信息论

1、熵

定义：$H(X)=-{\sum }_{x\in R}p(x)lo{g}_{2}p(x)$
一个随机变量的熵越大，它的不确定性也就越大。那么正确估计其值的可能性就越小，所以说越不确定的随机变量就越需要大的信息量来进行确定。
在已知部分知识的前提下，对未知分布最合理的推断就是符合已知知识最不确定或最大随机的推断。

2、联合熵和条件熵

（1）联合熵定义：
随机变量X，Y服从$p(x,y)$的联合分布，X，Y的联合熵为：
$$H(X,Y)=-\sum _{x\in X}\sum _{y\in Y}p(x,y)lo{g}_{2}p(x,y)$$
联合熵实际上描述了一对随机变量平均所需要的信息量。

给定随机变量X的情况下，随机变量Y的条件熵为：
$$H(Y|X)=-\sum _{x\in X}\sum _{y\in Y}p(x,y)lo{g}_{2}p(y|x)$$
下面是熵的连锁规则：
$$H(X,Y)=H(X)+H(Y|X)$$
推广到一般情况：
$$H(X_1,X_2,,\cdots ,X_n)=H(X_1)+H(X_2|X_1)+\cdots +H(X_n|X_1,X_2,\cdots ,X_{n-1})$$
熵率：$$H_{rate}=\frac{1}{n}H(X_{1n})=-\frac{1}{n}\sum _{x_{1n}}p(x_{1n})logp(x_{1n})$$
其中， X 1 n = { X 1 , X 2 , ⋯   , X n } X_{1n}=\lbrace X_1,X_2,\cdots,X_n\rbrace X1n​={X1​,X2​,⋯,Xn​}

3、互信息

定义：这个差叫做X，Y的互信息，记作$I(X;Y)，I(X；Y)\ge 0$$$H(X)-H(X|Y)=H(Y)-H(Y|X)$$
这个差量表示的是知道Y的值后，X的不确定性减少的量，也就是Y的值透漏了多少关于X的信息量。

$$I(X;Y)=\sum _{x,y}p(x,y)log\frac{p(x,y)}{p(x)p(y)}$$
证明过程:

自信息（熵）：$$H(X)=H(X)-H(X|X)=I(X;X),H(X|X)=0$$
互信息度量的是两个随机变量之间的统计相关性。在自然语言处理中经常用互信息判断两个对象之间的关系，如根据主题类别和词汇间互信息大小进行特征词的抽取。
互信息的连锁规则：$$I(X;Y|Z)=I((X;Y)|Z)=H(X|Z)-H(X|Y,Z)$$
$$I(X_{1n};Y)=\sum _{i=1}^{n}I(X_i;Y|X_1,\cdots ,X_{i-1})$$

4、相对熵

相对熵又称为KL距离。

5、交叉熵

6、困惑度

7、噪声信道模型

三、SVM

1、线性分类

2、线性不可分

3、构造核函数