文件分类
1. **复习**:回顾了文档分割、句子分割、词汇标记化/分割、基于空格的标记化、字节对编码、正则表达式、类型与标记、归一化(包括大小写归一化、标点移除、停用词移除)、词干提取和词形还原。
2. **概率理论回顾**:通过大学Y的例子讨论了概率理论的基本概念,包括随机变量、独立事件和条件概率。
3. **概率语言模型**:介绍了计算句子或词序列概率的语言模型,包括单词序列的概率和接下来单词的概率。
4. **如何计算 P(W)**:探讨了如何计算联合概率 P(W),即给定句子中所有单词联合出现的概率。
5. **马尔可夫假设**:介绍了用于简化概率计算的马尔可夫假设,特别是在语言模型中。
6. **N-gram 模型**:解释了从二元模型(bigram)扩展到三元模型(trigram)和更高级的 n-gram 模型。
7. **估计 Bigram 概率**:讨论了如何使用最大似然估计(MLE)来估计 bigram 概率参数。
8. **泛化和零概率问题**:探讨了在训练和测试数据中的稀疏性问题,以及未知词(OOV)和开放词汇表。
9. **平滑处理**:介绍了平滑技术,特别是加一平滑(Laplace Smoothing),用于解决训练数据中没有出现的词组合的问题。
10. **文本分类**:讨论了如何将文档转换为特征集或向量,并使用模型进行分类。
11. **文本分类方法**:涵盖了二元分类、多类别分类、有监督机器学习分类方法,包括朴素贝叶斯、逻辑回归、支持向量机等。
12. **朴素贝叶斯**:详细介绍了基于贝叶斯规则的简单分类方法,重点是在文本分类中的应用。
13. **情感分类**:讨论了情感分析的策略,包括处理否定词、利用情感词典等。
总体来说,这节课程深入介绍了在自然语言处理中处理文本数据的高级技术,重点关注了如何建立和利用概率模型来理解和分类文本数据。
以下是课件中提到的一些重要公式和概念:
1. **独立性判断公式**:如果事件 a 和 b 是独立的,则满足 P(a∩b) = P(a)P(b)。
2. **条件概率**:事件 a 和 b 的条件概率定义为 P(a|b) = P(a∩b) / P(b)。
3. **贝叶斯定理**:P(b|a) = P(a|b)P(b) / P(a)。
4. **联合概率的链式规则**:对于一个词序列 w1, w2, w3, ..., wn,联合概率可表示为 P(w1w2w3...wn) = P(w1)P(w2|w1)P(w3|w1w2)...P(wn|w1w2...wn-1)。
5. **马尔可夫假设**:在 N-gram 模型中,马尔可夫假设是指一个词的出现只与它前面的 N-1 个词有关,而与更早的词无关。
6. **N-gram 概率估计**:例如,在 Bigram 模型中,二元概率可以通过最大似然估计 (MLE) 得到,即 P(w2|w1) = Count(w1w2) / Count(w1)。
7. **平滑处理**:例如加一平滑 (Laplace Smoothing) 公式为 P_Laplace(wi) = (Count(wi) + 1) / (N + V),其中 N 是语料库中词的总数,V 是词汇表中词的总数。
8. **朴素贝叶斯分类器**:对于一个文档 d,该分类器尝试找出使 P(c|d) 最大的类别 c,其中 P(c|d) 可通过贝叶斯定理计算。
这些公式和概念是自然语言处理中重要的数学基础,特别是在概率模型、文本分类和情感分析等领域中具有关键作用。