线性回归模型（笔记）

线性回归（Linear Regression）是统计学和机器学习中最简单和最广泛使用的一种回归分析方法之一。它用于探索自变量（或称特征）与因变量（或称目标）之间的线性关系。

基本概念和原理

1. 线性关系：线性回归假设自变量和因变量之间存在线性关系，即因变量 y可以通过自变量 x 的线性组合来估计：

2. 最小二乘法：线性回归通常使用最小二乘法来估计模型参数。这意味着通过最小化观察值 ​ 和模型预测值 之间的残差平方和来找到最优参数。

3. 模型评估：评估线性回归模型通常使用多种指标，如决定系数 R^2，均方误差（MSE）、平均绝对误差（MAE）等，来判断模型对数据的拟合程度和预测能力。

• 应用场景：线性回归适用于研究变量之间的关系，例如预测房价（根据房屋面积、位置等因素）、分析市场营销数据（广告投入与销售额之间的关系）等。

• 假设：线性回归的有效性依赖于多重假设，包括线性关系、常态性、独立性和同方差性等。

• 扩展：除了简单线性回归（单个自变量）外，还存在多元线性回归（多个自变量）、岭回归（处理多重共线性）、Lasso回归（特征选择）等变种。

线性判别分析（Linear Discriminant Analysis, LDA）是一种经典的统计方法，用于在多类别分类问题中寻找最优线性组合，以区分不同类别的观测数据点。它与线性回归有些相似，但主要用于分类而非回归问题。

• 分类问题：线性判别分析用于解决分类问题，其中有多个类别需要预测。给定一个观测数据点，LDA的目标是将它正确地分类到预定义的类别中之一。

• 特征空间：假设有 KKK 个类别，每个类别的数据点服从多元正态分布。LDA试图找到一个线性组合，将数据点投影到一个一维空间（或者更高维度，但通常是低维），使得不同类别的投影尽可能分开，同一类别的投影尽可能接近。

• 最优投影：为了实现这一目标，LDA最大化类间离散度（类别之间的距离）并最小化类内离散度（同一类别内数据点的分散程度）。这可以通过求解广义瑞利商的特征值问题来实现。

• 步骤：

  • 计算每个类别的样本均值向量。
  • 计算类内散布矩阵（within-class scatter matrix）和类间散布矩阵（between-class scatter matrix）。
  • 求解散布矩阵的广义特征值问题，得到最优投影向量

• 预测：对于新的观测数据点，使用学习到的投影向量将其投影到一维空间，并基于投影值进行分类。

多分类学习是指在机器学习和统计学中处理具有多个类别的分类问题的技术和方法。与二分类问题（只有两个类别）不同，多分类问题需要将输入数据点分为三个或更多个不同的类别。

方法和技术

1. 一对一（One-vs-One）分类：

   • 将多类别分类问题转化为多个二分类问题。
   • 每对类别之间训练一个二分类器。
   • 预测时，通过投票或概率的方式确定最终分类结果。

2. 一对其余（One-vs-Rest）分类：

   • 将多类别分类问题转化为多个二分类问题。
   • 每个类别对应一个二分类器，将该类别作为正例，其他所有类别作为负例。
   • 预测时，选择具有最高置信度的分类器所对应的类别。

• 不平衡类别：处理多类别分类时，类别分布不平衡可能会对模型造成影响，需要采取适当的处理方法。

• 性能度量：多类别分类问题通常需要使用适当的性能度量来评估模型，如混淆矩阵、精确度、召回率、F1分数等。

• 算法选择：根据数据的特性和问题的要求选择合适的多类别分类方法和模型。

类别不平衡问题是指在分类任务中，不同类别的样本数量差异很大，其中一些类别的样本数量远远多于其他类别的情况。这种不平衡可能会对机器学习模型的训练和性能造成影响，因为模型可能会倾向于预测数量更多的类别，而对于少数类别的预测效果不佳。

处理类别不平衡的方法

1. 重采样方法：

   • 过采样（Oversampling）：增加少数类别的样本数量，例如使用SMOTE（Synthetic Minority Over-sampling Technique）生成合成样本。
   • 欠采样（Undersampling）：减少多数类别的样本数量，以平衡类别分布。
   • 混合采样（Combination Sampling）：结合过采样和欠采样的方法，以达到类别平衡。

2. 类别权重调整：

   在损失函数中为不同类别赋予不同的权重，通常是给少数类别更高的权重，以便模型更加关注这些类别。

3. 生成新特征：

   根据数据的特性生成与类别不平衡相关的新特征，例如与少数类别相关的特征或特征组合。

4. 集成方法：

   使用集成学习方法，如集成学习算法中的AdaBoost、Gradient Boosting等，这些方法可以通过组合多个分类器来改善分类性能。

5. 改变评估指标：

   考虑使用适合类别不平衡问题的评估指标，如精确度（Precision）、召回率（Recall）、F1分数（F1-score）、AUC-ROC等，而不是简单的分类准确度。

6. 数据增强：

   对于少数类别的样本进行数据增强，如图像数据中的旋转、平移、缩放等操作，以扩展少数类别的样本空间。

7. 生成对抗网络（GAN）：

   使用生成对抗网络生成更多的少数类别样本，以增加训练数据的多样性和数量。