自然语言处理（六）

逻辑回归

这份课件主要介绍了逻辑回归（Logistic Regression），一个在自然和社会科学中广泛使用的重要分析工具。以下是关键内容的概述：

1. **逻辑回归背景**：
   - 逻辑回归被作为分类问题中的基线监督机器学习工具。
   - 它是神经网络的基础。

2. **生成式和判别式分类器**：
   - 朴素贝叶斯（Naive Bayes）是一个生成式分类器。
   - 逻辑回归则是一个判别式分类器。
   - 生成式分类器构建每个类别的模型，然后比较新样本与这些模型的匹配度。
   - 判别式分类器直接学习区分不同类别。

3. **逻辑回归的组成部分**：
   - 输入观察值的特征表示。
   - 用于估计类别的分类函数，如Sigmoid或Softmax函数。
   - 学习用的目标函数，如交叉熵损失。
   - 优化目标函数的算法，如随机梯度下降。

4. **逻辑回归的训练和测试**：
   - 训练过程中使用随机梯度下降和交叉熵损失学习权重w和偏置b。
   - 测试时，给定一个测试样本x，使用学习到的权重w和偏置b计算p(y|x)，然后返回概率较高的标签。

5. **二元分类与逻辑回归**：
   - 介绍了如何使用逻辑回归进行二元分类，例如情感分析（正面/负面）。
   - 特征的权重决定了它在分类决策中的重要性，权重可以是正的（证据支持该类别）或负的（证据反对该类别）。

6. **逻辑回归的概率分类**：
   - 使用Sigmoid函数将加权特征和偏置的和转换为概率。
   - Sigmoid函数将实值映射到[0,1]范围，使其成为合法的概率值。

7. **交叉熵损失和梯度下降**：
   - 介绍了如何使用交叉熵损失函数和随机梯度下降来训练逻辑回归模型。
   - 梯度下降的目的是找到最小化损失函数的参数。

8. **正则化**：
   - 讨论了如何通过添加正则化项（如L1或L2正则化）来防止过拟合。
   - 正则化通过惩罚大的权重值来防止模型复杂度过高。

9. **多项式逻辑回归**：
   - 当需要多于两个类别时，使用多项式逻辑回归，也称为Softmax回归。
   - Softmax函数将输入映射为各类别的概率分布。

这份课件涵盖了逻辑回归的基本概念、其在分类任务中的应用，以及如何通过梯度下降和正则化技术优化模型。