自然语言处理（三）

进一步的文件分类

这节课程集中在文档分类、评估分类器的性能，以及文档相似性的概念。下面是对课件内容的整理：

1. **文档分类**：
   - 之前的讲座内容涵盖了二元分类（如情感和相关性）、词汇列表分类器、监督学习、训练和测试以及机器学习方法，特别是自动派生词汇列表和朴素贝叶斯方法。

2. **本次讲座重点**：
   - 评估：准确性和错误率、混淆矩阵、精确度、召回率和F1得分。
   - 文档相似性：向量空间模型、TF-IDF、余弦相似性和超越单词维度的概念。

3. **评估分类器**：
   - 讨论了为什么需要评估分类器、如何选择最佳分类器，以及在一个独立的测试集上进行评估的重要性。
   - 着重于二元分类，但所考虑的指标也适用于多类别情况。

4. **准确性和错误率**：
   - 准确性是测试集中正确分类的项所占的比例。
   - 错误率是测试集中错误分类的项所占的比例。

5. **混淆矩阵**：
   - 描述了分类器预测的正类和负类与真实类别之间的关系，包括真正例（TP）、假正例（FP）、真负例（TN）和假负例（FN）。

6. **精确度和召回率**：
   - 精确度是正确预测为正类的比例。
   - 召回率是实际为正类且被正确预测的比例。

7. **F1得分**：
   - F1得分是精确度和召回率的调和平均数，用于平衡这两个指标。

8. **精确度与召回率的权衡**：
   - 讨论了如何通过改变决策边界来在精确度和召回率之间进行权衡。

9. **朴素贝叶斯决策规则**：
   - 讲述了如何使用朴素贝叶斯方法来分类，并讨论了如何调整决策边界。

10. **文档相似性**：
    - 向量空间模型：将文档表示为向量。
    - TF-IDF：一种衡量词项在文档中重要性的方法。
    - 余弦相似性：衡量两个文档向量之间相似性的方法。

11. **超越单词维度**：
    - 探讨了使用短语或多词术语作为主题词的可能性。

12. **实验与应用**：
    - 指导完成与文档分类相关的实验练习。

这节课程通过介绍和解释关键的概念和技术，为理解文档分类和文档相似性提供了一个坚实的基础。

 

下面是这次讲座中提到的一些关键概念和公式：

1. **混淆矩阵（Confusion Matrix）**：
   - 真正例（TP）：正确预测的正例数。
   - 假正例（FP）：错误预测的正例数。
   - 真负例（TN）：正确预测的负例数。
   - 假负例（FN）：错误预测的负例数。

 

 

7. **向量空间模型（Vector Space Model）**：
   - 文档被表示为一个向量，每个维度对应一个词项。

 

这些概念和公式为理解和评估文档分类系统提供了必要的数学和理论基础。