2-3 基于概率统计的模型采样知识

2-3 基于概率统计的模型采样知识

主目录点这里
什么是采样
在机器学习中，采样是从一个数据集中选取一部分样本用于模型训练或推断。采样可以是随机的也可以是确定性的，并且可以根据各种不同的采样策略进行操作。

采样的作用是什么
采样本质上是对随机现象的模拟，采样可以让人们对随机事件及其产生过程有更直观的认识
另一方面，采样得到的样本集也可以看作是一种非参数模型，即用少量的样本点来近似总体分布，并刻画总体分布中的不确定性。因此从这一角度来说，采样也是一种信息降维，可以起到简化问题的作用
再介绍几种采样方式

05和06方法比较常用于我们做训练集和测试集
自助法（Bootstrapping）是一种统计学上的抽样技术，主要用于估计一个统计量的分布。这种方法通过从一个数据集中进行有放回的随机抽样来生成多个样本集。每个新样本集都可能会有重复的样本，因为每次抽样都是独立的。自助法的主要优点是它允许从原始数据中生成多个不同的样本集，特别适用于小数据集或当需要增加模型鲁棒性时。它广泛应用于机器学习中，帮助模型更好地理解数据的特性，并可用于测试解决方案的稳定性。
Jackknife（刀切法）是一种统计学上的估计方法，用于计算一个统计量的估计值，并评估这个估计值的精确度和偏差。与自助法（Bootstrapping）不同，刀切法不是通过重复抽样来估计统计量的分布，而是通过系统地排除每个观测值来重新计算统计量。
具体来说，对于包含n个观测值的数据集，刀切法会每次排除一个观测值，然后使用剩下的n-1个观测值来计算统计量。这个过程会重复n次，每次排除一个不同的观测值。最终，刀切法会使用这n个统计量的估计值来计算最终的估计值，以及估计值的偏差和标准误差。
刀切法的主要优点是它可以提供对估计值精确度的无偏估计，并且可以用于小样本数据集。它常用于估计样本统计量的标准误差，也可以用于估计参数的置信区间。

欠采样和过采样
欠采样（Under-sampling）和过采样（Over-sampling）是处理不平衡数据集的两种常见技术。在机器学习中，不平衡数据集指的是数据集中不同类别的样本数量差异很大。例如，在一个二分类问题中，一个类别的样本数量远多于另一个类别。

过采样（Over-sampling）: 过采样涉及增加少数类别的样本数量，使其与多数类别的样本数量相匹配。这可以通过复制现有样本或使用合成样本（如SMOTE算法）来实现。过采样的目的是防止模型偏向于多数类别，提高模型对少数类别的识别能力。
欠采样（Under-sampling）: 欠采样则是减少多数类别的样本数量，使其与少数类别的样本数量相匹配。这可以通过随机删除多数类别的样本或使用特定的选择策略来实现。欠采样的目的是减少模型训练的计算量，并防止模型因为多数类别的样本数量过多而忽视少数类别。
两种技术各有优缺点。过采样可能会增加模型的过拟合风险，因为它是通过增加样本数量来增加模型复杂性的。而欠采样可能会丢失重要信息，因为它减少了训练数据量。
上采样和下采样
上采样（Upsampling）和下采样（Downsampling）是信号处理和图像处理中的术语，它们分别指的是增加和减少信号或图像的采样率。

上采样（Upsampling）: 上采样也称为增采样，它涉及增加信号的采样率，即增加每秒采样的次数。这通常通过在原始信号样本之间插入额外的零值样本（称为零填充）来实现，然后使用一个低通滤波器来平滑结果信号，去除新引入的高频成分。上采样通常用于数字信号处理中的插值，以及将数字音频信号从较低的采样率转换为较高的采样率。
下采样（Downsampling）: 下采样也称为减采样，它涉及减少信号的采样率，即减少每秒采样的次数。这通常通过删除原始信号中的一些样本来实现。为了避免在减少采样率时引入混叠现象（即高频信号成分“折叠”到低频范围内），通常会在下采样之前使用一个低通滤波器来限制信号的带宽。
在图像处理中，上采样和下采样也用于改变图像的分辨率。上采样通常用于放大图像，而在这个过程中可能会使用插值算法来估计新增加像素的颜色值。下采样通常用于缩小图像，通过减少像素的数量来减少图像的分辨率，这可能会导致图像细节的丢失。
采样对模型训练的影响
1.模型偏差: 采样方式可能会影响模型的偏差。例如，如果采样过程中引入了系统性的错误或偏差，那么训练出的模型可能会在这些方面表现出类似的偏差。例如，如果采样不均匀，模型可能会对某些数据特征或类别产生偏见。
2.模型泛化能力: 采样的质量直接影响到模型的泛化能力。如果采样不能很好地代表整个数据分布，模型可能无法很好地泛化到未见过的数据上。例如，如果训练集中某些类别的样本过少，模型可能无法有效识别这些类别。
3.计算资源: 采样也影响到模型训练所需的计算资源。过采样或欠采样可能会增加或减少训练数据的规模，从而影响到训练时间、内存需求和计算成本。
4.过拟合和欠拟合: 不适当的采样可能导致模型过拟合或欠拟合。过采样可能会导致模型学习到训练数据中的噪声，而欠采样可能会导致模型未能学习到数据的全部特征。
5.模型稳定性: 采样的随机性也会影响模型的稳定性。如果采样导致训练数据的变化很大，模型可能会在不同的训练轮次中表现出较大的性能波动。
采样方法的选择与优化
采样方法的选择与优化是机器学习中的一个重要问题，特别是在处理不平衡数据集、减少计算成本和提高模型性能时。以下是一些关于采样方法选择与优化的考虑因素：
1.数据集的特性:
（1）如果数据集是不平衡的，可以考虑过采样少数类别或欠采样多数类别。
（2）如果数据集很大，可以考虑随机采样或分层采样来减少计算成本。
（3）如果数据集包含噪声或异常值，可以考虑使用清洗后的数据或异常值检测方法。
2.模型的目标:
（1）如果模型的目标是高精度，可能需要更多的数据样本来避免过拟合。
（2）如果模型的目标是快速训练，可以考虑减少数据样本或使用更高效的采样方法。
3.算法的要求:
（1）某些算法可能对数据集的平衡性有更高的要求，这时过采样或欠采样可能更有帮助。
（2）某些集成学习方法（如Bagging）可能会从随机采样中受益。
4.实验和验证:
（1）使用交叉验证来评估不同采样方法对模型性能的影响。
（2）进行A/B测试，比较不同采样方法在实际应用中的效果。
5.计算资源:
（1）考虑到计算资源有限，可以选择性地采样数据，减少计算负担。
（2）使用更高效的采样算法，如基于重要性的采样，可以减少所需的样本数量。
6.高级采样技术:
（1）使用合成样本生成技术（如SMOTE）来增加少数类别的样本。
（2）使用聚类方法来识别重要样本，然后对重要样本进行过采样。
7.评估指标:
选择合适的评估指标来衡量不同采样方法的效果，如F1分数、ROC-AUC等。
8.迭代优化:
根据初步结果，不断调整采样策略，以达到更好的模型性能。