动手学数据分析第三章笔记

最新推荐文章于 2024-10-06 19:51:33 发布

z20000812

最新推荐文章于 2024-10-06 19:51:33 发布

阅读量1.2k

点赞数 29

文章标签：数据分析笔记机器学习

本文链接：https://blog.csdn.net/z20000812/article/details/136880969

版权

一. 在机器学习中，划分数据集是一个关键步骤，它有助于训练、验证和测试模型的性能。以下是一些常见的数据集划分方法：

留出法（Hold-out）：
- 将原始数据集划分为训练集、验证集和测试集。
- 通常采用分层采样，确保数据分布的一致性。
- 适用于决策树、朴素贝叶斯分类器、线性回归等任务。
交叉验证法（Cross Validation）：
- 常用的形式是K折交叉验证，其中K通常取10。
- 将数据集分成K个不重叠的子集，进行K次模型训练和验证。
- 优点：减少随机划分带来的偶然性，提高泛化能力。
- 缺点：可能存在某些类别划分不均匀的情况。
自助法（Bootstrapping）：
- 使用有放回重复采样，生成大小为m的训练集。
- 一部分样本重复出现，一部分未出现，未出现的作为测试集。
- 适用于数据集较小、难以有效划分训练集和测试集的情况。
划分方法的选择：
- 数据量充足时，通常使用留出法或K折交叉验证法。
- 数据集小且难以有效划分时，使用自助法。
- 数据集小且可有效划分时，最好使用留一法。
模型的拟合问题：
- 如果训练集和测试集上正确率都很低，说明模型欠拟合，需要调整超参数。
- 如果训练集上正确率低而测试集上高，数据集可能有问题。
- 如果训练集上正确率高而测试集上低，说明模型过拟合，需正则化或Dropout。

二. 分层抽样的好处

首先，解释什么是分层抽样？

分层抽样是一种统计抽样技术，它涉及将总体按照一定的特征或标准分成若干互不交叉的子集，称为“层”。然后从每个层中独立地按照一定的比例抽取样本，最后将这些样本合并以形成最终的样本集。

然后，说说分层抽样的好处。这种方法的关键优势在于能够确保样本在关键特征上能更好地代表总体，从而提高估计的准确性和降低抽样误差。分层抽样特别适用于总体中存在明显子群体的情况，它可以确保每个子群体在样本中都有足够的代表性。这对于减少偏差和提高研究结果的可靠性至关重要。

三. 什么情况下切割数据集的时候不用进行随机选取

在某些情况下，我们不需要进行随机选取来切割数据集。以下是一些不需要随机选取的情况：

总之，如果数据集本身已经足够随机，或者数据集非常大且不需要全部数据进行实验，那么就不需要进行随机选取。

四. 为什么线性模型可以进行分类任务

在机器学习中，线性模型可以用于分类任务的原因如下：

广义线性模型：线性回归模型可以通过引入一个单调可微的函数来连接分类任务的真实标签（类别）和线性回归模型的预测值。这样，线性回归模型就可以用于分类问题。
逻辑回归：逻辑回归是一种广义线性模型，用于二分类问题。它使用特征的线性组合来计算一个概率，并将其映射到0到1之间。如果概率大于50%，则预测为正类；否则，预测为负类。
线性模型的输出转换：线性模型的输出是实数，不一定在区间[0,1]内，但分类任务需要概率测度。因此，我们使用逻辑函数（也称为sigmoid函数）将线性模型的输出转换为概率，使其在0到1之间。
性能度量：对于分类任务，我们可以使用准确度、混淆矩阵、精确度和灵敏度等度量来评估线性分类器的性能。

四. 混淆矩阵

在机器学习领域，混淆矩阵（也称为错误矩阵）是一种用于可视化监督学习算法性能的标准格式。它特别用于分类算法。让我们来详细了解一下混淆矩阵：

定义：混淆矩阵是一个N×N的矩阵，其中N表示分类标签的个数。例如，在二分类模型中，标签可以是1或0，因此N为2；对于多分类模型（例如正向、中性、负向标签），N为标签的数量。
结构：混淆矩阵的每一行代表实际类别，每一列代表预测类别。矩阵的每个单元格包含了在该实际类别和预测类别下的样本数量。
含义：混淆矩阵的每一列表示预测类别，每一列的总数表示预测为该类别的数据的数目；每一行表示数据的真实归属类别，每一行的数据总数表示该类别的数据实例的数目；每一列中的数值表示真实数据被预测为该类的数目。

以下是混淆矩阵中的一些关键概念：