Datawhale AI 夏令营（第五期）李宏毅苹果书 Task 3 《深度学习详解（入门）》- 2 机器学习框架&实践攻略

Mingrui-Sun

已于 2024-09-02 15:45:08 修改

阅读量127

点赞数 2

文章标签：人工智能机器学习

于 2024-08-24 14:15:14 首次发布

本文链接：https://blog.csdn.net/spring5/article/details/141499027

版权

机器学习任务攻略_哔哩哔哩_bilibili

《深度学习详解》的第二章，主要探讨了机器学习实践中的方法论，以及如何解决模型训练过程中可能出现的问题。

主要内容：

实践方法论的重要性：
- 强调实践方法论对于机器学习算法应用的重要性。
- 提醒关注训练数据的损失，判断模型是否真正学到了东西。
模型偏差：
- 解释模型偏差的概念，即模型过于简单，无法捕捉到数据的真实规律。
- 举例说明模型偏差导致训练损失大的情况。
- 建议通过增加特征、增大模型、使用深度学习等方法来增加模型的灵活性。
优化问题：
- 解释优化问题的概念，即梯度下降等优化算法无法找到最优解。
- 举例说明优化问题导致训练损失大的情况。
- 建议通过比较不同模型、使用其他优化算法等方法来解决优化问题。
过拟合：
- 解释过拟合的概念，即模型过于复杂，对训练数据过度拟合，导致泛化能力差。
- 举例说明过拟合导致测试损失大的情况。
- 建议通过增加训练数据、数据增强、减少模型参数、使用正则化等方法来解决过拟合问题。
不匹配：
- 解释不匹配的概念，即训练集和测试集的分布不同，导致模型泛化能力差。
- 举例说明不匹配导致模型预测结果差的情况。
- 建议通过理解数据产生方式，对训练集和测试集进行调整来解决不匹配问题。
交叉验证：
- 介绍交叉验证的概念，即将训练集分成多份，进行多次训练和验证，以评估模型的泛化能力。
- 解释 k 折交叉验证的原理和作用。
- 建议使用交叉验证来选择最佳模型，避免过拟合。
模型选择：
- 强调选择合适模型的重要性，并说明如何通过比较不同模型、使用交叉验证等方法来选择最佳模型。
- 指出不要过度依赖公开测试集的结果，避免在私人测试集上出现差的结果。

问题：

模型选择的具体方法：教材提到比较不同模型、使用交叉验证等方法来选择最佳模型，但没有具体说明如何操作，例如如何设置交叉验证的参数，如何评估不同模型的性能指标等。
数据增强的具体方法：教材提到数据增强可以解决过拟合问题，但没有详细说明数据增强的具体方法，例如如何选择合适的数据增强方式，如何避免引入噪声等。
正则化的具体方法：教材提到正则化可以解决过拟合问题，但没有详细说明正则化的具体方法，例如如何选择合适的正则化项，如何设置正则化参数等。
如何判断模型是否过大或过小：教材提到模型复杂程度与损失的关系，但没有提供具体的方法来判断模型是否过大或过小，例如如何选择合适的模型参数，如何根据数据特点选择合适的模型结构等。
如何解决不匹配问题：教材提到不匹配问题需要根据对数据本身的理解来解决，但没有提供具体的解决方案，例如如何调整训练集和测试集的分布，如何对数据进行预处理等。

疑问：

模型偏差和过拟合的区别：教材中提到模型偏差和过拟合都是导致模型性能差的原因，但没有明确说明两者之间的区别，例如两者在训练数据和测试数据上的表现有何不同。
优化问题的解决方案：教材中提到可以使用其他优化算法来解决优化问题，但没有列举具体的优化算法，例如牛顿法、拟牛顿法等。
交叉验证的局限性：教材中提到交叉验证可以评估模型的泛化能力，但没有说明交叉验证的局限性，例如交叉验证可能会导致过拟合，交叉验证的复杂度较高等等。
模型选择的评价指标：教材中提到可以使用验证集来选择最佳模型，但没有说明如何选择合适的评价指标，例如准确率、召回率、F1 值等。
如何处理不平衡数据：教材中没有提到如何处理不平衡数据，例如过采样、欠采样等。

建议：