【NLP】_01_NLP基础知识

 

---

 

【一】 Inverted Index（倒排索引）

• Vocabulary：[ Word1, Word2, …, WordN ]
• Word1: [ Doc1, Doc2, … ]；Word2: [ Doc1, Doc2, … ]；WordN: [ Doc1, Doc2, … ]
• 建立倒排表，用于快速检索，如搜索引擎

 

---

 

【二】 Noisy Channel Model

 

• Bayes 贝叶斯公式：
  $$P(A|B)=\frac{P(B|A)\cdot P(A)}{P(B)}$$

 

• $\mathbf{P}(\mathbf{B})$ 一般为一个常数项，所以：
  $$P(A|B)\propto P(B|A)\cdot P(A)$$

 

• $\mathbf{P}(\mathbf{B}|\mathbf{A})$ 一般称为 Translation Model，即翻译模型
• $\mathbf{P}(\mathbf{A})$ 一般称为 Language Model，即语言模型
• 应用场景一般与文本（text）有关，如 OCR，中英互译，密码破解，语音识别等

 

---

 

【三】 Language Model（语言模型）

• Chain Rule ( Bayes )：$P(W_1,W_2,W_3,...,W_n)=P(W_1)\ast P(W_2|W_1)\ast P(W_3|W_1,W_2)...\ast P(W_n|W_1,W_2,...,W_{n-1})$

 

---

 

【四】 Markov Assumption（马尔科夫假设）

• 一种 近似估计 方法，弥补 LM 的稀疏性
• N Order Assumption：考虑前 N 个单词

 

---

 

【五】 Unigram Bigram N-gram（基础语言模型）

• Unigram（0 Order Assumption）：$P(W_1,W_2,W_3,...,W_n)=P(W_1)\cdot P(W_2)\cdot P(W_3)\cdot ...\cdot P(W_n)$
• Bigram（1 Order Assumption）：$P(W_1,W_2,W_3,...,W_n)=P(W_1)\cdot P(W_2|W_1)\cdot P(W_3|W_2)\cdot ...\cdot P(W_n|W_{n-1})$
• N-gram（N-1 Order Assumption）：不举例子了

 

---

 

【六】 Perplexity（一种评估语言模型的方法）

 

• Perplexity = $2^{-\mathbf{x}}$ (越小越好)：x（average log likelihood）

• 主要针对 无监督（unsupervised）下的文本评估

 

---

 

【七】 Smoothing（解决冷启动问题）

 

【7.1】 Add-one Smoothing（拉普拉斯 Laplace）

 

【7.2】 Add-K Smoothing

 

【7.3】 Interpolation（考虑多种语言模型，如 Unigram + Bigram + Trigram）

 

【7.4】 Good-Turning Smoothing

 

• Good-Turning Smoothing 公式（$N_c$ 表示出现 $c$ 次单词的个数）

 

• Good-Turning Smoothing 缺点
   
  单词次数的出现大多数情况下 不是连续的，解决方法是通过 机器学习 去拟合一条曲线，大致的估计空缺的值